УСТРОЙСТВО ОБНАРУЖЕНИЯ КАПЕЛЬ ВОДЫ И УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ УСТРОЙСТВА ОБНАРУЖЕНИЯ КАПЕЛЬ ВОДЫ Российский патент 2018 года по МПК G06T7/10 G06T7/254 G06K9/20 B60R1/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения капель воды и к устройству обнаружения трехмерных объектов, которое использует устройство обнаружения капель воды.

УРОВЕНЬ ТЕХНИКИ

[0002] Известны бортовые устройства мониторинга для транспортных средств, которые используют CCD-камеры, которые включают в себя линзу для захвата первого фокусного расстояния для малых расстояний, используемых для формирования изображений капель дождя, которые прилипли к транспортному средству, и второго фокусного расстояния для больших расстояний, используемых для формирования изображений периферии транспортного средства, и модуль камеры, который переключает фокусное расстояние линзы между первым фокусным расстоянием и вторым фокусным расстоянием. Когда должно обнаруживаться присутствие капель дождя, осуществляется переключение на первое фокусное расстояние, тогда как, когда должна отслеживаться периферия транспортного средства, осуществляется переключение на второе фокусное расстояние (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская заявка на патент № 2005-225250

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] Тем не менее, поскольку в предшествующем уровне техники, описанном выше, необходимо переключать фокусное расстояние линзы для того, чтобы обнаруживать капли дождя, возникает проблема в том, что невозможно выполнять обнаружение объекта во время переключения.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, заключается в том, чтобы предоставлять устройство обнаружения капель воды, которое может обнаруживать капли воды без формирования периода необнаружения, и устройство обнаружения трехмерных объектов с использованием устройства обнаружения капель воды.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0006] Настоящее изобретение разрешает проблему, описанную выше, посредством обнаружения того, прилипли или нет капли воды к фотографической оптической системе средства захвата изображений, и когда капли воды прилипли, управления транспортным средством в соответствии с этим состоянием.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0007] В соответствии с настоящим изобретением, транспортное средство управляется в соответствии с состоянием прилипания капель воды, и, например, капли воды удаляются, либо обнаружение трехмерного объекта или другого транспортного средства останавливается, когда прилипло большое число капель воды, в силу этого обеспечивая возможность обнаружения трехмерного объекта без ложного обнаружения вследствие капель воды.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является схематичным видом транспортного средства в варианте осуществления, к которому применено устройство обнаружения трехмерных объектов настоящего изобретения.

Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства по фиг. 1 (обнаружение трехмерных объектов на основе информации формы разностного сигнала).

Фиг. 3 является блок-схемой, иллюстрирующей подробности первого варианта осуществления компьютера по фиг. 1.

Фиг. 4 является видом, иллюстрирующим общее представление обработки модуля совмещения на фиг. 3. Фиг. 4(a) является видом сверху, показывающим состояние движения транспортного средства, а фиг. 4(b) является изображением, показывающим общее представление совмещения.

Фиг. 5 является схематичным видом, иллюстрирующим способ формирования формы разностного сигнала посредством первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 6 является видом, иллюстрирующим малые области, разделенные посредством первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 7 является видом, иллюстрирующим пример гистограммы, получаемой посредством первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 8 является видом, иллюстрирующим взвешивание, используемое посредством первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 9 является видом, иллюстрирующим обработку модуля обнаружения размытостей по фиг. 3 и процесс вычисления формы разностного сигнала, выполняемый на ее основе.

Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 11 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ для обнаружения трехмерных объектов с использованием информации формы разностного сигнала, фактически реализованный посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 12 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ для обнаружения трехмерных объектов с использованием информации формы разностного сигнала, фактически реализованный посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и первого модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 13 является видом, иллюстрирующим состояние движения транспортного средства по фиг. 1 (обнаружение трехмерных объектов с использованием информации краев). Фиг. 13(a) является видом сверху, иллюстрирующим позиционную взаимосвязь между областями обнаружения, а фиг. 13(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь между областями обнаружения в реальном пространстве.

Фиг. 14 является видом для описания работы модуля вычисления яркостного различия по фиг. 3. Фиг. 14(a) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида "с высоты птичьего полета", а фиг. 14(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.

Фиг. 15 является видом для описания подробной работы модуля вычисления яркостного различия по фиг. 3. Фиг. 15(a) является видом, иллюстрирующим область обнаружения в изображении при виде с высоты птичьего полета, а фиг. 15(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении при виде с высоты птичьего полета.

Фиг. 16 является видом, иллюстрирующим линию края и распределение яркости на линии края. Фиг. 16(a) является видом, иллюстрирующим распределение яркости для случая, в котором трехмерный объект (транспортное средство) присутствует в области обнаружения, а фиг. 16(b) является видом, иллюстрирующим распределение яркости для случая, в котором трехмерный объект не присутствует в области обнаружения.

Фиг. 17 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, выполняемой посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и второго модуля обнаружения трехмерных объектов по фиг. 3.

Фиг. 18 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, осуществляемый посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 19 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев.

Фиг. 20 является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления модуля оценки трехмерных объектов и модуля управления по фиг. 3.

Фиг. 21 является примером карты управления, иллюстрирующей взаимосвязь времени отключения продувки воздухом относительно числа капель воды.

Фиг. 22 является примером временной диаграммы, иллюстрирующей включение/отключение продувки воздухом, заданное в соответствии с числом капель воды.

Фиг. 23 является блок-схемой, иллюстрирующей устройство удаления капель воды по фиг. 3.

Фиг. 24A является видом в перспективе, иллюстрирующим камеру и устройство удаления капель воды по фиг. 3.

Фиг. 24B является видом в перспективе относительно стрелки 24B на фиг. 24A.

Фиг. 25 является частичным покомпонентным видом в перспективе, иллюстрирующим камеру и устройство удаления капель воды, проиллюстрированные на фиг. 24A.

Фиг. 26 является видом, иллюстрирующим пример задания точки обзора и опорной точки в процессе обнаружения капель воды по фиг. 20.

Фиг. 27 является блок-схемой последовательности операций способа, иллюстрирующей вложенную процедуру процесса обнаружения капель воды (этап S41) по фиг. 20.

Фиг. 28 является видом (часть 1) для описания другого примера процесса модуля совмещения по фиг. 3.

Фиг. 29 является видом (часть 2) для описания другого примера процесса модуля совмещения по фиг. 3.

Фиг. 30 является видом (часть 3) для описания другого примера процесса модуля совмещения по фиг. 3.

Фиг. 31 является блок-схемой, иллюстрирующей подробности второго варианта осуществления вычислительного модуля по фиг. 1.

Фиг. 32 является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления трехмерного модуля оценки по фиг. 31.

Фиг. 33 является примером карты управления, иллюстрирующей взаимосвязь первого порогового значения α и второго порогового значения β относительно числа капель воды.

Фиг. 34 является другим примером карты управления, иллюстрирующей взаимосвязь первого порогового значения α и второго порогового значения β относительно числа капель воды.

Фиг. 35 является другим примером карты управления, иллюстрирующей взаимосвязь первого порогового значения α и второго порогового значения β относительно числа капель воды.

Фиг. 36 является другим примером карты управления, иллюстрирующей взаимосвязь первого порогового значения α и второго порогового значения β относительно числа капель воды.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0009] Фиг. 1 является схематичным видом транспортного средства согласно одному варианту осуществления, к которому применено устройство обнаружения трехмерных объектов по настоящему изобретению. Устройство 1 обнаружения трехмерных объектов этого примера предназначено для обнаружения других транспортных средств, которые имеют потенциал для контакта, когда рассматриваемое транспортное средство V сменяет полосу движения, и вычисления проезжаемых расстояний. По этой причине, пример, который описывается ниже, является примером, в котором устройство 1 обнаружения трехмерных объектов монтируется в транспортном средстве V, и едущее сзади транспортное средство представляет собой трехмерный объект, который должен быть обнаружен. Как показано на чертеже, устройство 1 обнаружения трехмерных объектов этого примера имеет камеру 10, датчик 20 скорости транспортного средства, компьютер 30 и модуль 40 обнаружения капель воды.

[0010] Камера 10, как показано на фиг. 1, прикрепляется к транспортному средству V в позиции на высоте h сзади транспортного средства V таким образом, что оптическая ось образует угол θ вниз по горизонтали. Камера 10 захватывает предварительно определенную область в периферийном окружении транспортного средства V из этой позиции. Датчик 20 скорости транспортного средства обнаруживает скорость движения транспортного средства V и, например, вычисляет скорость транспортного средства из скорости вращения колес транспортного средства, обнаруженной посредством датчика скорости вращения колес транспортного средства для обнаружения скорости вращения на колесе транспортного средства. Компьютер 30 обнаруживает трехмерный объект сзади транспортного средства и, в этом примере, вычисляет проезжаемое расстояние и скорость движения для трехмерного объекта. Модуль 40 обнаружения капель воды обнаруживает присутствие капель воды, к примеру, капель дождя, которые прилипли к фотографической оптической системе, к примеру, к линзе камеры 10, подробности которой описываются ниже.

[0011] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает заднюю сторону относительно транспортного средства под предварительно определенным углом a обзора. Угол a обзора камеры 10 задается равным углу обзора, который обеспечивает возможность захвата полос движения транспортных средств слева и справа, а также полосы движения транспортных средств, в которой движется рассматриваемое транспортное средство V. Первый вариант осуществления устройства обнаружения трехмерных объектов настоящего изобретения описывается ниже со ссылкой на фиг. 3-30, а его второй вариант осуществления описывается со ссылкой на фиг. 31-36.

[0012] ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 по фиг. 1. На фиг. 3, проиллюстрированы камера 10, датчик 20 скорости транспортного средства, модуль 40 обнаружения капель воды и устройство 41 удаления капель воды, чтобы прояснять то, как соединяются эти компоненты.

[0013] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, первый модуль 33 обнаружения трехмерных объектов, модуль 34 обнаружения размытостей, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев, второй модуль 37 обнаружения трехмерных объектов, модуль 38 оценки трехмерных объектов и контроллер 39. Из них модуль 31 преобразования точки обзора, модуль 34 обнаружения размытостей, модуль 32 совмещения и первый модуль 33 обнаружения трехмерных объектов являются составляющими модулями, связанными с блоком A обнаружения трехмерных объектов, который использует информацию формы разностного сигнала, описанную ниже. Модуль 31 преобразования точки обзора, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и второй модуль 37 обнаружения трехмерных объектов являются составляющими модулями, связанными с блоком B обнаружения трехмерных объектов, который использует информацию краев, описанную ниже. Во-первых, ниже описываются соответствующие составляющие модули.

[0014] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ ФОРМЫ РАЗНОСТНОГО СИГНАЛА

Устройство 1 обнаружения трехмерных объектов этого варианта осуществления обнаруживает трехмерный объект, который присутствует в правой области обнаружения или левой области обнаружения сзади транспортного средства, на основе информации изображений, которая получается из монокулярной камеры 1, которая захватывает изображения сзади транспортного средства.

[0015] Захваченные данные изображений предварительно определенной области, полученные посредством захвата, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и захваченные данные изображений, введенные таким способом, преобразуются в данные изображений вида "с высоты птичьего полета", которые представляют состояние вида "с высоты птичьего полета". Состояние вида "с высоты птичьего полета" представляет собой состояние просмотра с точки обзора воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной японской заявке на патент № 2008-219063. Преобразование точки обзора захваченных данных изображений в данные изображений вида "с высоты птичьего полета" основано на таком принципе, что вертикальные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида "с высоты птичьего полета", и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта. Результаты обработки преобразования изображений посредством модуля 31 преобразования точки обзора используются также при обнаружении трехмерных объектов на основе информации краев, описанной ниже.

[0016] Данные изображений вида "с высоты птичьего полета", полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и введенные позиции данных изображений вида "с высоты птичьего полета" в разные моменты времени совмещаются. Фиг. 4 является видом для описания общего представления обработки модуля 32 совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства V, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0017] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V в данный момент времени размещается в V1, и рассматриваемое транспортное средство V за один момент времени до этого размещается в V2. Предполагается, что другое транспортное средство V размещается в направлении с задней стороны рассматриваемого транспортного средства V и движется параллельно рассматриваемому транспортному средству V, и что другое транспортное средство V в текущий момент времени размещается в V3, и что другое транспортное средство V за один момент времени до этого размещается в V4. Кроме того, предполагается, что рассматриваемое транспортное средство V проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом на время, предварительно заданное (например, один цикл управления) с данного момента времени, либо может быть моментом времени в прошлом на произвольное время.

[0018] В этом состоянии, изображение PBt вида "с высоты птичьего полета" в текущее время является таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида "с высоты птичьего полета" и являются относительно точными в виде сверху, но возникает сплющивание с другим транспортным средством V3. То же применимо к изображению PBt-1 вида "с высоты птичьего полета" за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но возникает сплющивание с другим транспортным средством V4. Как описано выше, вертикальные края трехмерного объекта (края, которые расположены вертикально в трехмерном пространстве от поверхности дороги, которые на находятся вне рамок строгого смысле вертикального края, также включаются) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса для преобразования точки обзора в данные изображений вида "с высоты птичьего полета", но поскольку плоское изображение на поверхности дороги не включает в себя вертикальные края, такое сплющивание не возникает, когда точка обзора преобразована.

[0019] Модуль 32 совмещения выполняет совмещение изображений PBt и PBt-1 вида "с высоты птичьего полета", как описано выше, для данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида "с высоты птичьего полета" за один момент времени до этого и сопоставляет позицию с изображением PBt вида "с высоты птичьего полета" в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d'. Величина d' смещения является величиной перемещения в данных изображений вида "с высоты птичьего полета", которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и времени от одного момента времени до этого до данного момента времени.

[0020] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида "с высоты птичьего полета" и формирует данные разностного изображения PDt. Пиксельные значения разностного изображения PDt могут быть абсолютными значениями разностей пиксельных значений между изображениями PBt и PBt-1 вида "с высоты птичьего полета", либо могут считаться равными 1, если абсолютное значение превышает, или равными 0, если абсолютное значение не превышает предварительно определенное пороговое значение, для целей адаптации к варьированию в окружении освещения. Правое изображение на фиг. 4(b) представляет собой разностное изображение PDt. В этом примере, модуль 32 совмещения совмещает позиции изображения вида "с высоты птичьего полета" в разные моменты времени в виде "с высоты птичьего полета", и получается это совмещенное изображение вида "с высоты птичьего полета". Тем не менее, эта обработка совмещения может быть выполнена на основе яркости в соответствии с требуемой точностью обнаружения или типом объекта, который должен быть обнаружен. Эта обработка может заключать в себе строгое совмещение, которое выполняется относительно идентичного момента времени и идентичной позиции, или нестрогое совмещение, которое заключает в себе выявление координат изображений вида "с высоты птичьего полета".

[0021] Возвращаясь к фиг. 3, первый модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PDt, показанных на фиг. 4(b). В этом примере, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта в фактическом пространстве. Первый модуль 33 обнаружения трехмерных объектов сначала формирует первую форму разностного сигнала, когда обнаруживается трехмерный объект, и вычисляется проезжаемое расстояние. Проезжаемое расстояние трехмерного объекта в единицу времени используется для вычисления скорости движения трехмерного объекта. Затем, скорость движения трехмерного объекта может быть использована при определении того, представляет или нет трехмерный объект собой транспортное средство.

[0022] При формировании формы разностного сигнала, первый модуль 33 обнаружения трехмерных объектов задает область обнаружения в разностном изображении PDt. Устройство 1 обнаружения трехмерных объектов настоящего примера обнаруживает, в качестве объекта обнаружения, другое транспортное средство VX, на которое должен обращать внимание водитель рассматриваемого транспортного средства, в частности, другое транспортное средство VX, которое движется в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, и которое имеет потенциал для контакта, если рассматриваемое транспортное средство V должно сменять полосу движения. Соответственно, в настоящем примере, в котором трехмерный объект должен быть обнаружен на основе информации изображений, две области обнаружения задаются на левой и правой стороне рассматриваемого транспортного средства V из числа изображений, которые получаются посредством камеры 1. В частности, в этом примере, прямоугольные области A1, A2 обнаружения задаются позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 2. Другое транспортное средство VX, которое обнаружено в областях A1, A2 обнаружения, обнаруживается в качестве опасного объекта, который движется в смежной полосе движения, которая является смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Такие области A1 и A2 обнаружения могут задаваться из относительной позиции относительно рассматриваемого транспортного средства V либо могут задаваться на основе позиции белых линий дорожной разметки. Когда задаются на основе позиции белых линий дорожной разметки, устройство 1 обнаружения трехмерных объектов может использовать, например, известные технологии распознавания белых линий дорожной разметки.

[0023] Первый модуль 33 обнаружения трехмерных объектов идентифицирует, в качестве линий L1, L2 пересечения с землей, границы заданных областей A1, A2 обнаружения на стороне рассматриваемого транспортного средства V (границы вдоль направления движения). В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей, но в настоящем варианте осуществления, линия пересечения с землей не представляет собой линию в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и нормальной линией пересечения с землей, определенной из позиции другого транспортного средства V, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.

[0024] Фиг. 5 является схематичным видом, иллюстрирующим способ, которым формируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов, показанного на фиг. 3. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала из участка, который соответствует областям A1, A2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, первый модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала вдоль направления сплющивания трехмерного объекта посредством преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства описывается только область A1 обнаружения, но форма DWt разностного сигнала также формируется для области A2 обнаружения с использованием идентичной процедуры.

[0025] Более конкретно, сначала первый модуль 33 обнаружения трехмерных объектов задает линию La в направлении, в котором сплющивается трехмерный объект, в данных разностного изображения PD_t. Первый модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность на линии La. Разностные пикселы DP, указывающие предварительно определенную разность, представляют собой пикселы, которые превышают предварительно определенное пороговое значение, когда пиксельные значения разностного изображения PDt являются абсолютными оценками разности в пиксельных значениях изображений PBt, PBt-1 вида "с высоты птичьего полета", либо представляют собой пикселы, которые указываются посредством 1, когда пиксельные значения разностного изображения PDt представляются посредством 0 и 1.

[0026] Первый модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP и после этого определяет точку CP пересечения линии La и линии L1 пересечения с землей. Первый модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и значение счетчика, определяет позицию на горизонтальной оси, т.е. позицию на оси в вертикальном направлении на чертеже справа на фиг. 5, на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси в поперечном направлении на чертеже справа на фиг. 5, из значения счетчика и определяет позиции на графике в качестве значения счетчика в точке CP пересечения.

[0027] Аналогично, первый модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, …, в направлении, в котором сплющивается трехмерный объект, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из значения счетчика (числа разностных пикселов DP) и определяет позиции на графике. Первый модуль 33 обнаружения трехмерных объектов повторяет вышеуказанное в последовательности, чтобы формировать частотное распределение и посредством этого формировать форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0028] Линии La и Lb в направлении, в котором сплющивается трехмерный объект, имеет разные расстояния, которые перекрывают область A1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Соответственно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область A1 обнаружения заполнена разностными пикселами DP. По этой причине, первый модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния перекрытия между линиями La, Lb в направлении, в котором сплющивается трехмерный объект, и областью A1 обнаружения, когда позиция на вертикальной оси определяется из значения счетчика разностных пикселов DP. В конкретном примере, предусмотрено шесть разностных пикселов DP на линии La, и предусмотрено пять разностных пикселов DP на линии Lb на чертеже слева на фиг. 5. Соответственно, когда позиция на вертикальной оси определяется из значения счетчика на фиг. 5, первый модуль 33 обнаружения трехмерных объектов делит значение счетчика на расстояние перекрытия или выполняет нормализацию другим способом. Значения формы DWt разностного сигнала, которые соответствуют линиям La, Lb в направлении, в котором сплющивается трехмерный объект, в силу этого становятся практически идентичными, как проиллюстрировано в форме DWt разностного сигнала.

[0029] После того, как сформирована форма DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние посредством сравнения с формой DWt-1 разностного сигнала за один момент времени до этого. Другими словами, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из изменения во времени форм DWt и DWt-1 разностных сигналов.

[0030] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество малых областей DWt1-DWtn (где n является произвольным целым числом в 2 или более), как проиллюстрировано на фиг. 6. Фиг. 6 является видом, иллюстрирующим малые области DWt1-DWtn, разделенные посредством первого модуля 33 обнаружения трехмерных объектов. Малые области DWt1-DWtn разделяются с возможностью взаимно перекрываться, как проиллюстрировано, например, на фиг. 6. Например, малая область DWt1 и малая область DWt2 перекрывают друг друга, и малая область DWt2 и малая область DWt3 перекрывают друг друга.

[0031] Затем, первый модуль 33 обнаружения трехмерных объектов определяет величину смещения (величину перемещения в направлении по горизонтальной оси (в вертикальном направлении на фиг. 6) формы разностного сигнала) для каждой из малых областей DWt1-DWtn. Здесь, величина смещения определяется из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени. В этом случае, первый модуль 33 обнаружения трехмерных объектов перемещает форму DWt-1 разностного сигнала за один момент времени до этого в направлении по горизонтальной оси для каждой из малых областей DWt1-DWtn и после этого оценивает позицию (позицию в направлении по горизонтальной оси), в которой ошибка относительно формы DWt разностного сигнала в данный момент времени является минимальной, и определяет в качестве величины смещения величину перемещения в направлении по горизонтальной оси в позиции, в которой ошибка относительно исходной позиции формы DWt-1 разностного сигнала является минимальной. Первый модуль 33 обнаружения трехмерных объектов затем подсчитывает величину смещения, определенную для каждой из малых областей DWt1-DWtn, и формирует гистограмму.

[0032] Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством первого модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 7, в величине смещения возникает некоторая величина переменности, которая представляет собой величину перемещения, в которой ошибка между малыми областями DWt1-DWtn и формой DWt-1 разностного сигнала за один момент времени до этого является минимальной. Соответственно, первый модуль 33 обнаружения трехмерных объектов формирует величины смещения, включающие в себя переменность, на гистограмме и вычисляет проезжаемое расстояние из гистограммы. В этот момент, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта из максимального значения на гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 7, первый модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, в качестве проезжаемого расстояния τ*. Проезжаемое расстояние τ* представляет собой относительное проезжаемое расстояние другого транспортного средства VX относительно рассматриваемого транспортного средства V. Соответственно, первый модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе проезжаемого расстояния τ*, полученного таким способом, и сигнала из датчика 20 скорости транспортного средства, когда должно вычисляться абсолютное проезжаемое расстояние.

[0033] Когда должна формироваться гистограмма, первый модуль 33 обнаружения трехмерных объектов может применять взвешивание к каждой из множества малых областей DWt1-DWtn и подсчитывать величины смещения, определенные для каждой из малых областей DWt1-DWtn в соответствии со взвешиванием, чтобы формировать гистограмму. Фиг. 8 является видом, иллюстрирующим взвешивание, используемое посредством первого модуля 33 обнаружения трехмерных объектов.

[0034] Как проиллюстрировано на фиг. 8, малая область DWm (где m является целым числом в 1 или более и n-1 или менее) является плоской. Другими словами, в малой области DWm, имеется несущественная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Первый модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа малой области DWm. Это обусловлено тем, что в плоской малой области DWm отсутствует характерность, и имеется высокая вероятность того, что ошибка должна быть усилена, когда вычисляется величина смещения.

[0035] С другой стороны, малая область DWm+k (где k является целым числом n-m или менее) имеет большую величину флуктуации. Другими словами, в малой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Первый модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа малой области DWm. Это обусловлено тем, что малая область DWm+k, имеющая большую величину флуктуации, является характерной, и имеется высокая вероятность того, что величина смещения точно вычисляется. Такое взвешивание позволяет повышать точность вычисления проезжаемого расстояния.

[0036] Форма DWt разностного сигнала разделяется на множество малых областей DW1t1-DWtn в настоящем варианте осуществления, чтобы повышать точность для вычисления проезжаемого расстояния, но разделение на малые области DWt1-DWtn необязательно, когда такая высокая точность для вычисления проезжаемого расстояния не требуется. В этом случае, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала является минимальной. Другими словами, способ для определения величины смещения между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени не ограничивается подробностями, описанными выше.

[0037] Возвращаясь к фиг. 3, компьютер 30 содержит модуль 34 обнаружения размытостей. Модуль 34 обнаружения размытостей обнаруживает область, в которой формируется размытость, из захваченных данных изображений, полученных посредством камеры 10. Размытость является явлением размазанности, которое формируется, например, посредством CCD-датчиков изображений, и, следовательно, модуль 34 обнаружения размытостей может опускаться, когда применяется камера 10, которая использует, например, CMOS-датчик изображений, который не формирует этот тип размытости.

[0038] Фиг. 9 является видом, иллюстрирующим обработку модуля 34 обнаружения размытостей и процесс вычисления посредством этого для формы DWt разностного сигнала согласно. Во-первых, данные из захваченного изображения P, в котором присутствует размытость S, вводятся в модуль 34 обнаружения размытостей. В это время, модуль 34 обнаружения размытостей обнаруживает размытость S из захваченного изображения P. Предусмотрены различные способы для обнаружения размытости S, но для типичных камер на основе CCD (прибора с зарядовой связью), например, размытость S формируется только вниз в изображении из источника света. По этой причине, в этом варианте осуществления, выполняется поиск областей, которые имеют значение яркости, по меньшей мере, с предварительно определенным значением снизу вверх в изображении и которые идут в вертикальном направлении. Такие области указываются в качестве области формирования размытости S.

[0039] Помимо этого, модуль 34 обнаружения размытостей формирует данные изображения SP с размытостью, в которых пиксельным значениям для местоположений, в которых формируется размытость S, назначается 1, а другим местоположениям назначается 0. После формирования, модуль 34 обнаружения размытостей отправляет данные изображения SP с размытостью в модуль 31 преобразования точки обзора. Помимо этого, модуль 31 преобразования точки обзора, который принимает ввод данных изображения SP с размытостью, выполняет преобразование точки обзора для этих данных, чтобы формировать состояние вида "с высоты птичьего полета". Как результат, модуль 31 преобразования точки обзора формирует данные изображения SBt вида "с высоты птичьего полета" с размытостью. После формирования, модуль 31 преобразования точки обзора отправляет данные изображения SBt вида "с высоты птичьего полета" с размытостью в модуль 32 совмещения. Помимо этого, модуль 31 преобразования точки обзора отправляет данные изображения SBt-1 вида "с высоты птичьего полета" с размытостью за один момент времени до этого в модуль 32 совмещения.

[0040] Модуль 32 совмещения выполняет совмещение на основе данных изображений SBt и SBt-1 вида "с высоты птичьего полета" с размытостью. Конкретное совмещение является аналогичным случаю, когда совмещение изображений PBt и PBt-1 вида "с высоты птичьего полета" выполняется с использованием данных. Помимо этого, после совмещения, модуль 32 совмещения выполняет логическое сложение для областей, в которых сформированы размытости S соответствующих изображений SBt и SBt-1 вида "с высоты птичьего полета" с размытостью. Как результат, модуль 32 совмещения формирует данные изображения MP с маской. После формирования, модуль 32 совмещения отправляет данные изображения MP с маской в первый модуль 33 обнаружения трехмерных объектов.

[0041] Первый модуль 33 обнаружения трехмерных объектов обнуляет счетчик частотного распределения для местоположений, соответствующих областям, в которых сформированы размытости S в изображении MP с маской. В частности, когда сформирована форма DWt разностного сигнала, как показано на фиг. 9, первый модуль 33 обнаружения трехмерных объектов обнуляет значение SC счетчика в соответствии с размытостью S и формирует исправленную форму DWt' разностного сигнала.

[0042] Первый модуль 33 обнаружения трехмерных объектов в настоящем варианте осуществления определяет скорость движения транспортного средства V (камера 10) и определяет величину смещения для стационарного объекта из определенной скорости движения. После того, как определена величина смещения стационарного объекта, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта, игнорируя величину смещения, соответствующую стационарному объекту из максимальных значений гистограммы.

[0043] Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством первого модуля 33 обнаружения трехмерных объектов. Когда стационарный объект, отличный от другого транспортного средства V, присутствует в пределах угла обзора камеры 10, два максимальных значения τ1, τ2 появляются на результирующей гистограмме. В этом случае, одно из двух максимальных значений τ1, τ2 является величиной смещения стационарного объекта. Следовательно, первый модуль 33 обнаружения трехмерных объектов определяет величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, которое соответствует величине смещения, и вычисляет проезжаемое расстояние трехмерного объекта с использованием оставшегося максимального значения.

[0044] Даже когда величина смещения, соответствующая стационарному объекту, игнорируется, может быть множество других транспортных средств V, присутствующих в пределах угла обзора камеры 10, когда имеется множество максимальных значений. Тем не менее, множество других транспортных средств V, присутствующих в областях A1, A2 обнаружения, возникают очень редко. Соответственно, первый модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния.

[0045] Далее описывается процесс для обнаружения трехмерного объекта с использованием информации формы разностного сигнала. Фиг. 11 и 12 являются блок-схемами последовательности операций способа, иллюстрирующими процессы для обнаружения трехмерного объекта согласно настоящему варианту осуществления. Как показано на фиг. 11, во-первых, данные захваченного изображения P вводятся в компьютер 30 из камеры 10, и изображение SP с размытостью формируется посредством модуля 34 обнаружения размытостей (этап S1). Затем, модуль 31 преобразования точки обзора формирует данные изображения PBt вида "с высоты птичьего полета" из данных захваченного изображения P из камеры 10, а также формирует данные изображения SBt вида "с высоты птичьего полета" с размытостью из данных изображения SP с размытостью (S2).

[0046] Модуль 32 совмещения затем совмещает данные изображения PBt вида "с высоты птичьего полета" и данные изображения PBt-1 вида "с высоты птичьего полета" за один момент времени до этого, а также совмещает данные изображения SBt вида "с высоты птичьего полета" с размытостью и данные изображения SBt-1 вида "с высоты птичьего полета" с размытостью за один момент времени до этого (S3). После этого совмещения, модуль 32 совмещения формирует данные разностного изображения PDt, а также формирует данные изображения MP с маской (S4). После этого, модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала из данных разностного изображения PDt и данных разностного изображения PDt-1 за один момент времени до этого (S5). После формирования формы DWt разностного сигнала, первый модуль 33 обнаружения трехмерных объектов обнуляет счетчик, соответствующий области формирования размытости S в форме DWt разностного сигнала, и подавляет эффекты вследствие размытости S (S6).

[0047] Далее, первый модуль 33 обнаружения трехмерных объектов оценивает то, равен или превышает либо нет пик формы DWt разностного сигнала первое пороговое значение α (S7). Это первое пороговое значение α определяется и задается как результат, например, предшествующего экспериментирования, но значение может задаваться посредством модуля 38 оценки трехмерных объектов, проиллюстрированного на фиг. 31. Когда пик формы DWt разностного сигнала равен или превышает первое пороговое значение α, в частности, когда существует незначительная разность, выдается заключение, что трехмерный объект не присутствует в захваченном изображении P. Следовательно, когда оценено то, что пик формы DWt разностного сигнала не равен или превышает первое пороговое значение α (S7: "Нет"), первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует, и что другое транспортное средство не присутствует (фиг. 12: S16). Обработка, показанная на фиг. 11 и 12, в силу этого завершается.

[0048] С другой стороны, если оценивается то, что пик формы DWt разностного сигнала равен или превышает первое пороговое значение α (S7: "Да"), первый модуль 33 обнаружения трехмерных объектов оценивает то, что присутствует трехмерный объект, и форма DWt разностного сигнала разделяется на множество малых областей DWt1-DWtn (S8). Затем, первый модуль 33 обнаружения трехмерных объектов выполняет взвешивание для каждой малой области DWt1-DWtn (S9). После этого, первый модуль 33 обнаружения трехмерных объектов вычисляет величину смещения каждой малой области DWt1-DWtn (S10) и формирует гистограмму с учетом взвешивания (S11).

[0049] Первый модуль 33 обнаружения трехмерных объектов затем вычисляет относительное проезжаемое расстояние, которое представляет собой проезжаемое расстояние трехмерного объекта относительно рассматриваемого транспортного средства V, на основе гистограммы (S12). Затем, первый модуль 33 обнаружения трехмерных объектов вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S13). В это время, первый модуль 33 обнаружения трехмерных объектов берет производную по времени относительного проезжаемого расстояния, чтобы вычислять относительную скорость движения, и суммирует скорость рассматриваемого транспортного средства, обнаруженную посредством датчика 20 скорости транспортного средства, чтобы вычислять абсолютную скорость движения.

[0050] Затем, первый модуль 33 обнаружения трехмерных объектов оценивает то, составляет или нет относительная скорость движения трехмерного объекта 10 км/ч или более, и то, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V +60 км/ч или менее (S14). Если оба условия являются истинными (S14: "Да"), то первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство V (S15). Процесс, проиллюстрированный на фиг. 11 и 12, после этого завершается. С другой стороны, если любое из условий не является истинным (S14: "Нет"), то первый модуль 33 обнаружения трехмерных объектов оценивает то, что другое транспортное средство не присутствует (S16). Процесс, проиллюстрированный на фиг. 11 и 12, после этого завершается.

[0051] В этом варианте осуществления, область позади рассматриваемого транспортного средства V рассматривается в качестве областей A1, A2 обнаружения, и основное внимание уделяется обнаружению другого транспортного средства VX, движущегося в смежной полосе движения, которая является смежной с полосой движения, в которой движется рассматриваемое транспортное средство, и на которую должно обращаться внимание в ходе движения рассматриваемого транспортного средства V, в частности, тому, имеется или нет потенциал для контакта, когда рассматриваемое транспортное средство V сменяет полосу движения. Это служит для оценки того, имеется или нет потенциал для контакта с другим транспортным средством VX, которое движется в смежной полосе движения, которая является смежной с полосой движения, в которой движется рассматриваемое транспортное средство, когда рассматриваемое транспортное средство V сменяет полосу движения. По этой причине, выполняется процесс этапа S14. В частности, при условии, что система в этом варианте осуществления активируется на скоростной автомагистрали, когда скорость трехмерного объекта составляет меньше 10 км/ч, например, почти никогда не возникают проблемы даже при условии, что присутствует другое транспортное средство V, поскольку объект должен размещаться далеко позади рассматриваемого транспортного средства V, когда сменяется полоса движения. Аналогично, когда относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V превышает +60 км/ч (в частности, когда трехмерный объект движется со скоростью, которая более чем на 60 км/ч превышает скорость рассматриваемого транспортного средства V), почти никогда не возникают проблемы, поскольку объект движется впереди рассматриваемого транспортного средства V, когда сменяется полоса движения. По этой причине, на этапе S14 это также упоминается как оценка другого транспортного средства V, которое представляет проблему при смене полосы движения.

[0052] Помимо этого, на этапе S14 следующие преимущества получаются в результате, когда оценивается то, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и составляет или нет абсолютная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V +60 км/ч или менее. Например, могут возникать случаи, когда абсолютная скорость движения стационарного объекта обнаруживается как равная нескольким км/ч вследствие ошибок в прикреплении камеры 10. Таким образом, посредством оценки того, составляет или нет скорость 10 км/ч или более, можно снижать вероятность того, что стационарный объект должен оцениваться в качестве другого транспортного средства V. Помимо этого, можно обнаруживать относительную скорость трехмерного объекта относительно рассматриваемого транспортного средства V как скорость, которая превышает +60 км/ч вследствие шума. Таким образом, оценка того, составляет или нет относительная скорость +60 км/ч или менее, позволяет снижать вероятность ошибочного обнаружения вследствие шума.

[0053] Помимо этого, вместо обработки этапа S14, может оцениваться то, что абсолютная скорость движения не является отрицательной или равной 0 км/ч. Помимо этого, в этом варианте осуществления, поскольку основное внимание уделяется тому, имеется или нет потенциал для контакта, когда рассматриваемое транспортное средство V сменяет полосу движения, когда другое транспортное средство V обнаружено на этапе S15, предупреждающий звук может выдаваться водителю рассматриваемого транспортного средства, либо отображение, соответствующее предупреждению, может предоставляться с использованием предварительно определенного устройства отображения.

[0054] В соответствии с процедурой обнаружения для трехмерных объектов с использованием информации формы разностного сигнала этого примера, число пикселов, демонстрирующих предварительно определенную разность, в данных разностного изображения PDt вдоль направления, в котором сплющивается трехмерный объект при преобразовании точки обзора, подсчитывается и используется для того, чтобы формировать частотное распределение, посредством этого формируя форму DWt разностного сигнала. Пикселы, демонстрирующие предварительно определенную разность в данных разностного изображения PDt, означают пикселы, для которых возникает изменение в изображениях в разные моменты времени, или другими словами, местоположения, в которых присутствует трехмерный объект. По этой причине, в местоположениях, в которых присутствует трехмерный объект, число пикселов вдоль направления, в котором сплющивается трехмерный объект, подсчитывается и используется для того, чтобы формировать частотное распределение, посредством этого формируя форму DWt разностного сигнала. В частности, поскольку подсчитывается число пикселов вдоль направления, в котором сплющивается трехмерный объект, форма DWt разностного сигнала формируется из информации в направлении высоты относительно трехмерного объекта. Затем, проезжаемое расстояние трехмерного объекта вычисляется из временного изменения в форме DWt разностного сигнала, включающей в себя информацию в направлении высоты. Следовательно, в отличие от акцентирования внимания исключительно на перемещении одной точки, местоположение обнаружения до изменения во времени и местоположение обнаружения после изменения во времени имеют тенденцию быть идентичным местоположением на трехмерном объекте в силу указания с включением информации в направлении высоты. Проезжаемое расстояние в силу этого вычисляется из изменения во времени в идентичном местоположении, и может повышаться точность вычисления проезжаемого расстояния.

[0055] Помимо этого, счетчик частотного распределения обнуляется в местоположениях, соответствующих областям, в которых размытость S формируется в форме DWt разностного сигнала. Как результат, удаляются местоположения формы сигнала в форме DWt разностного сигнала, которые формируются посредством размытости S, позволяя предотвращать условия, в которых размытость S ошибочно идентифицируется в качестве трехмерного объекта.

[0056] Помимо этого, проезжаемое расстояние трехмерного объекта вычисляется из величины смещения формы DWt разностного сигнала, когда ошибка в форме DWt разностного сигнала, сформированной в разные моменты времени, является минимальной. Это дает возможность вычисления проезжаемого расстояния из величины смещения одномерной информации в качестве формы сигнала, что обеспечивает поддержание вычислительных затрат на низком уровне, когда вычисляется проезжаемое расстояние.

[0057] Кроме того, форма DWt разностного сигнала, сформированная в разные моменты времени, разделяются на множество малых областей DWt1-DWtn. Разделение формы разностного сигнала на множество малых областей DWt1-DWtn дает возможность получения множества форм сигналов, представляющих местоположения трехмерного объекта. Помимо этого, посредством определения величины смещения, когда соответствующие ошибки формы сигнала являются минимальными для каждой из малых областей DWt1-DWtn, и посредством подсчета и создания гистограммы величин смещения, определенных для каждой из малых областей DWt1-DWtn, вычисляется проезжаемое расстояние трехмерного объекта. Следовательно, определяется величина смещения для каждого местоположения трехмерного объекта, и определяется проезжаемое расстояние из множества величин смещения, обеспечивая возможность повышения точности вычисления проезжаемого расстояния.

[0058] Помимо этого, взвешивания применяются к каждой из множества малых областей DWt1-DWtn, и величины смещения, определенные для каждой из малых областей DWt1-DWtn, подсчитываются в соответствии со взвешиванием, чтобы формировать гистограмму. С этой целью, взвешивания увеличиваются для характерных областей, и взвешивания снижаются для нехарактерных областей, в силу этого обеспечивая возможность более надлежащего вычисления проезжаемого расстояния. Следовательно, может дополнительно повышаться точность вычисления проезжаемого расстояния.

[0059] Помимо этого, взвешивания увеличиваются с увеличением разности между максимальными и минимальными значениями счетчика числа пикселов, демонстрирующих предварительно определенную разность, в каждой малой области DWt1-DWtn в форме DWt разностного сигнала. Следовательно, взвешивания увеличиваются для областей с характерными флуктуациями, которые имеют большую разность между максимальными и минимальными значениями, и взвешивания уменьшаются для плоских областей с малой флуктуацией. Поскольку области с большими величинами флуктуации дают возможность точного определения величины смещения проще по сравнению с плоскими областями с геометрической точки зрения, взвешивания увеличиваются для областей, в которых разность между максимальными и минимальными значениями является большой, обеспечивая возможность дополнительного повышения точности вычисления проезжаемого расстояния.

[0060] Помимо этого, проезжаемое расстояние трехмерного объекта вычисляется из экстремального значения гистограммы, полученной посредством подсчета величин смещения, определенных для каждой из малых областей DWt1-DWtn. Следовательно, даже если существует некоторое варьирование в величинах смещения, проезжаемое расстояние может быть вычислено с большей точностью из максимального значения.

[0061] Помимо этого, поскольку величина смещения определяется для стационарного объекта, и эта величина смещения игнорируется, можно предотвращать ситуацию, в которой точность вычисления проезжаемого расстояния трехмерного объекта снижается вследствие стационарного объекта. Помимо этого, когда имеется множество максимальных значений, и игнорируется величина смещения, соответствующая стационарному объекту, прекращается вычисление проезжаемого расстояния трехмерного объекта. Следовательно, можно предотвращать ситуацию, в которой вычисляется ошибочное проезжаемое расстояние, к примеру, когда имеется множество максимальных значений.

[0062] В варианте осуществления, описанном выше, скорость рассматриваемого транспортного средства V определяется на основе сигналов из датчика 20 скорости транспортного средства, но варианты осуществления не ограничены этим, и скорость может быть оценена из множества изображений в разные моменты времени. В этом случае, датчик скорости транспортного средства является необязательным, обеспечивая возможность упрощения конфигурации.

[0063] Помимо этого, в варианте осуществления, описанном выше, захваченное изображение данного момента времени и изображение за один момент времени до этого преобразуется в виды "с высоты птичьего полета", преобразованные виды "с высоты птичьего полета" совмещаются, после этого формируется разностное изображение PDt, и сформированное разностное изображение PDt оценивается вдоль направления сплющивания (направления, в котором сплющивается трехмерный объект, когда захваченное изображение преобразуется в вид "с высоты птичьего полета"), чтобы формировать форму DWt разностного сигнала, но ограничения на это не налагаются. Например, также можно использовать конфигурацию, в которой только изображение за один момент времени до этого преобразуется в вид "с высоты птичьего полета", преобразованный вид "с высоты птичьего полета" совмещается, затем преобразуется снова в эквивалентное захваченное изображение, разностное изображение формируется с использованием этого изображения и изображения в данный момент времени, и сформированное разностное изображение оценивается вдоль направления, соответствующего направлению сплющивания (т.е. направления, полученного посредством преобразования направления сплющивания в направление в захваченном изображении), чтобы посредством этого формировать форму DWt разностного сигнала. Другими словами, не всегда обязательно явно формировать вид "с высоты птичьего полета" при условии, что изображение в данный момент времени и изображение за один момент времени до этого совмещаются, разностное изображение PDt формируется из разности между совмещенными изображениями, и разностное изображение PDt может быть оценено вдоль направления сплющивания трехмерного объекта, когда разностное изображение PDt преобразуется в вид "с высоты птичьего полета".

[0064] Помимо этого, в варианте осуществления, описанном выше, совмещаются данные изображения PBt вида "с высоты птичьего полета" в текущий момент времени и данные PBt-1 изображений вида "с высоты птичьего полета" за один момент времени до этого (предыдущие), как проиллюстрировано на фиг. 4(b), после чего формируется разностное изображение PDt, и разностное изображение PDt оценивается вдоль направления, соответствующего направлению сплющивания, как показано на фиг. 5, посредством этого формируя форму DWt разностного сигнала. Тем не менее, данные PBt, PBt-1 изображений вида "с высоты птичьего полета" в текущий момент времени и за один момент времени до этого могут быть оценены вдоль направления, соответствующего направлению сплющивания, как показано на фиг. 5, чтобы формировать соответствующие формы DWt разностных сигналов для данного момента времени и за один момент времени до того, после чего эти две формы разностных сигналов могут совмещаться, как показано на фиг. 4(b), и конечная информация формы разностного сигнала может быть сформирована из разностей между этими двумя формами разностных сигналов.

[0065] ОБНАРУЖЕНИЕ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ КРАЕВ

Далее описывается блок B для обнаружения трехмерного объекта с использованием информации краев, который может работать вместо блока A для обнаружения трехмерного объекта с использованием информации формы разностного сигнала, как проиллюстрировано на фиг. 3. Блок B для обнаружения трехмерного объекта с использованием информации краев этого примера заключает в себе обнаружение трехмерного объекта с использованием информации краев, извлекаемой из модуля преобразования 31, модуля 35 вычисления яркостного различия, модуля 36 обнаружения линий краев и второго модуля 37 обнаружения трехмерных объектов. Фиг. 13 является видом, иллюстрирующим захватываемый диапазон камеры 10 по фиг. 3. Фиг. 13(a) является видом сверху, и фиг. 13(b) является видом в перспективе в реальном пространстве в обратном направлении от рассматриваемого транспортного средства V1. Как показано на фиг. 13(a), камера 10 имеет предварительно определенный угол a обзора, и захватывается обратное направление от рассматриваемого транспортного средства V1, включенного в этот предварительно определенный угол a обзора. Аналогично случаю, показанному на фиг. 2, угол a обзора камеры 10 задается таким образом, что смежные полосы движения включаются в захватываемый диапазон камеры 10 в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V1.

[0066] Области A1, A2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида "с высоты птичьего полета"), и позиция, размер и форма областей A1, A2 обнаружения определяются на основе расстояний d1-d4. Области A1, A2 обнаружения примера, проиллюстрированного на чертеже, не ограничены трапецеидальной формой и также могут иметь прямоугольную или другую форму в состоянии вида "с высоты птичьего полета", как проиллюстрировано на фиг. 2.

[0067] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V1 до линий L1, L2 пересечения с землей. Линии L1, L2 пересечения с землей означают линии, в которых трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V1, контактирует с землей. В настоящем варианте осуществления, цель заключается в том, чтобы обнаруживать другое транспортное средство V2 и т.п. (включающее в себя двухколесные транспортные средства и т.п.), движущееся в левой или правой полосе движения позади рассматриваемого транспортного средства V1 и смежной с полосой движения рассматриваемого транспортного средства V1. Соответственно, расстояние d1, которое представляет собой расстояние до позиций линий L1, L2 пересечения с землей другого транспортного средства V2, может определяться как практически фиксированное из расстояния d11 от рассматриваемого транспортного средства V1 до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которую прогнозируется движение другого транспортного средства V2.

[0068] Расстояние d1 не ограничивается фиксированным заданием и может быть переменным. В этом случае, компьютер 30 идентифицирует позицию белой линии W дорожной разметки относительно рассматриваемого транспортного средства V1 с использованием распознавания белых линий дорожной разметки или другой технологии, и расстояние d11 определяется на основе позиции идентифицированной белой линии W дорожной разметки. Расстояние d1 посредством этого переменно задается с использованием определенного расстояния d11. В настоящем варианте осуществления, описанном ниже, по большей части определяются позиция, в которой движется другое транспортное средство V2 (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой движется рассматриваемое транспортное средство V1 (расстояние d11 от белой линии W дорожной разметки), и расстояние d1 посредством этого фиксировано определяется.

[0069] Расстояние d2 является расстоянием, идущим из задней концевой части рассматриваемого транспортного средства V1 в направлении продвижения транспортного средства. Расстояние d2 определяется таким образом, что области A1, A2 обнаружения размещаются, по меньшей мере, в пределах угла a обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается в контакте с диапазоном, секционированным в пределах угла a обзора. Расстояние d3 указывает длину областей A1, A2 обнаружения в направлении езды транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, объект, который должен быть обнаружен, представляет собой другое транспортное средство V2 и т.п., и следовательно, расстояние d3 задается равным длине, которая включает в себя другое транспортное средство V2.

[0070] Расстояние d4 указывает высоту другого транспортное средства V2 в реальном пространстве, которая задана таким образом, что она включает в себя шины, как проиллюстрировано на фиг. 13(b). В изображении вида "с высоты птичьего полета" расстояние d4 является длиной, проиллюстрированной на фиг. 13(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, дополнительно смежные с левой и правой смежными полосами движения в изображении вида "с высоты птичьего полета" (т.е. находящиеся через одну полосы движения на расстоянии через одну полосу движения). Это обусловлено тем, что когда включаются полосы движения на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V1, более невозможно отличать то, присутствует или нет другое транспортное средство V2 в смежных полосах движения слева и справа от полосы движения, в которой движется рассматриваемое транспортное средство V, либо то, присутствует или нет другое транспортное средство V2 в "находящейся через одну" полосе движения на расстоянии через одну полосу движения.

[0071] Как описано выше, определяются расстояния d1-d4, и посредством этого определяются позиция, размер и форма областей A1, A2 обнаружения. Более конкретно, позиция верхней стороны b1 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d1. Начальная позиция C1 верхней стороны b1 определяется посредством расстояния d2. Конечная позиция C2 верхней стороны b1 определяется посредством расстояния d3. Поперечная сторона b2 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L3, идущей от камеры 10 к начальной позиции C1. Аналогично, поперечная сторона b3 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L4, идущей от камеры 10 к конечной позиции C2. Позиция нижней стороны b4 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d4. Таким образом, области, окруженные посредством сторон b1-b4, представляют собой области A1, A2 обнаружения. Области A1, A2 обнаружения являются правильными квадратами (прямоугольниками) в реальном пространстве позади рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 13(b).

[0072] Возвращаясь к фиг. 3, модуль 31 преобразования точки обзора принимает ввод захваченных данных изображений предварительно определенной области, захваченных посредством камеры 10. Модуль 31 преобразования точки обзора преобразует точку обзора введенных захваченных данных изображений в данные изображений вида "с высоты птичьего полета", которые представляют состояние вида "с высоты птичьего полета". Состояние вида "с высоты птичьего полета" является состоянием просмотра с точки обзора воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз (или немного наклонена вниз). Преобразование точки обзора может быть выполнено с использованием технологии, описанной, например, в выложенной японской заявке на патент № 2008-219063.

[0073] Модуль 35 вычисления яркостного различия вычисляет яркостные различия в данных изображений вида "с высоты птичьего полета", которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение вида "с высоты птичьего полета". Модуль 35 вычисления яркостного различия вычисляет, для каждой из множества позиций вдоль вертикальной воображаемой линии, идущей вдоль вертикального направления в реальном пространстве, яркостное различие между двумя пикселами около каждой позиции. Модуль 35 вычисления яркостного различия допускает вычисление яркостного различия посредством способа для задания одной вертикальной воображаемой линии, идущей в вертикальном направлении в реальном пространстве, или способа для задания двух вертикальных воображаемых линий.

[0074] Ниже описан конкретный способ для задания двух вертикальных воображаемых линий. Модуль 35 вычисления яркостного различия задает первую вертикальную воображаемую линию, которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и вторую вертикальную воображаемую линию, которая отличается от первой вертикальной воображаемой линии и которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве для изображения вида "с высоты птичьего полета", которое подвергнуто преобразованию точки обзора. Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой на первой вертикальной воображаемой линии и точкой на второй вертикальной воображаемой линии непрерывно вдоль первой вертикальной воображаемой линии и второй вертикальной воображаемой линии. Ниже подробно описывается работа модуля 35 вычисления яркостного различия.

[0075] Модуль 35 вычисления яркостного различия задает первую вертикальную воображаемую линию La (ниже называемую "линией La концентрации внимания"), которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и которая проходит через область A1 обнаружения, как проиллюстрировано на фиг. 14(a). Модуль 35 вычисления яркостного различия задает вторую вертикальную воображаемую линию Lr (ниже называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания, соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и проходит через область A1 обнаружения. Здесь, опорная линия Lr задается равной позиции на расстоянии от линии La концентрации внимания на предварительно определенное расстояние в реальном пространстве. Линии, которые соответствуют сегментам линии, идущим в вертикальном направлении в реальном пространстве, являются линиями, которые расходятся радиальным способом от позиции Ps камеры 10 в изображении вида "с высоты птичьего полета". Эти линии, расходящиеся радиальным способом, представляют собой линии, которые следуют направлению сплющивания трехмерного объекта при преобразовании в вид "с высоты птичьего полета".

[0076] Модуль 35 вычисления яркостного различия задает точку Pa концентрации внимания на линии La концентрации внимания (точку на первой вертикальной воображаемой линии). Модуль 35 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй вертикальной воображаемой линии). Линия La концентрации внимания, точка Pa концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, проиллюстрированную на фиг. 14(b). Из фиг. 14(b) очевидно то, что линия La концентрации внимания и опорная линия Lr представляют собой линии, идущие в вертикальном направлении в реальном пространстве, и что точка Pa концентрации внимания и опорная точка Pr представляют собой точки, заданные с практически идентичной высотой в реальном пространстве. Точка Pa концентрации внимания и опорная точка Pr не обязательно должны строго поддерживаться на идентичной высоте, и разрешается определенная величина ошибки, которая по-прежнему позволяет точке Pa концентрации внимания и опорной точке Pr считаться находящимся на идентичной высоте.

[0077] Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr. Если яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr является большим, возможно то, что край присутствует между точкой Pa концентрации внимания и опорной точкой Pr. Соответственно, модуль 36 обнаружения линий краев, проиллюстрированный на фиг. 3, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.

[0078] Этот аспект описывается подробнее. Фиг. 15 является видом для описания подробной работы модуля 35 вычисления яркостного различия. Фиг. 15(a) иллюстрирует изображение вида "с высоты птичьего полета" состояния вида "с высоты птичьего полета", а фиг. 15(b) является укрупненным видом части B1 изображения вида "с высоты птичьего полета", проиллюстрированного на фиг. 15(a). На фиг. 15, проиллюстрирована и описана только область A1 обнаружения, но яркостное различие вычисляется с использованием идентичной процедуры для области A2 обнаружения.

[0079] Когда другое транспортное средство V2 отображается в захваченном изображении, захваченном посредством камеры 10, другое транспортное средство V2 появляется в области A1 обнаружения в изображении вида "с высоты птичьего полета", как проиллюстрировано на фиг. 15(a). Линия La концентрации внимания задается на резиновом участке шины другого транспортного средства V2 в изображении вида "с высоты птичьего полета" на фиг. 15(b), как проиллюстрировано в укрупненном виде области B1 на фиг. 15(a). В этом состоянии, сначала модуль 35 вычисления яркостного различия задает опорную линию Lr. Опорная линия Lr задается вдоль вертикального направления в позиции, заданном на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. В частности, в устройстве 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии на расстоянии в 10 см в реальном пространстве от линии La концентрации внимания. Опорная линия Lr посредством этого задается на колесе шины другого транспортного средства V2, например, на расстоянии, которое соответствует 10 см от резины шины другого транспортного средства V2 в изображении вида "с высоты птичьего полета".

[0080] Затем, модуль 35 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 15(b), шесть точек Pa1-Pa6 концентрации внимания (ниже называемых просто "точкой Pai концентрации внимания" при указании произвольной точки) задаются для удобства описания. Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, N точек Pa концентрации внимания задаются на линии La концентрации внимания.

[0081] Модуль 35 вычисления яркостного различия затем задает опорные точки Pr1-PrN таким образом, что они имеют высоту, идентичную высоте точек Pa1-PaN концентрации внимания в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие между парами из точки Pa концентрации внимания и опорной точки Pr с идентичной высотой. Модуль 35 вычисления яркостного различия посредством этого вычисляет яркостное различие между двумя пикселами для каждой из множества позиций (1-N) вдоль вертикальной воображаемой линии, идущей в вертикальном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pa1 концентрации внимания и первой опорной точкой Pr1 и вычисляет яркостное различие между второй точкой Pa2 концентрации внимания и второй опорной точкой Pr2. Модуль 35 вычисления яркостного различия посредством этого определяет яркостное различие непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 35 вычисления яркостного различия последовательно определяет яркостное различие между третьей - N-й точками Pa3-PaN концентрации внимания и третьей - N-й опорными точками Pr3-PrN.

[0082] Модуль 35 вычисления яркостного различия повторяет процесс задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания, задания опорной точки Pr и вычисления яркостного различия при сдвиге линии La концентрации внимания в области A1 обнаружения. Другими словами, модуль 35 вычисления яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La концентрации внимания и опорной линии Lr на идентичное расстояние в реальном пространстве вдоль направления, в котором идет линия L1 пересечения с землей. Модуль 35 вычисления яркостного различия, например, задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La концентрации внимания, задает опорную линию Lr относительно линии La концентрации внимания и последовательно определяет яркостное различие.

[0083] Возвращаясь к фиг. 3, модуль 36 обнаружения линий краев обнаруживает линию края из непрерывного яркостного различия, вычисленного посредством модуля 35 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 15(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является малым. С другой стороны, вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновых участках шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются в участке колеса шины. Следовательно, яркостное различие между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Соответственно, модуль 36 обнаружения линий краев допускает обнаружение того, что линия края присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, где яркостное различие является большим.

[0084] В частности, когда должна обнаруживаться линия края, модуль 36 обнаружения линий краев сначала назначает атрибут i-ой точке Pai концентрации внимания из яркостного различия между i-ой точкой Pai концентрации внимания (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi', yi')) в соответствии с формулой 1, приведенной ниже.

ФОРМУЛА 1

когда I(xi, yi)>I(xi', yi')+t,

s(xi, yi)=1;

когда I(xi, yi)<I(xi', yi')-t,

s(xi, yi)=-1;

в противном случае:

s(xi, yi)=0

[0085] В вышеприведенной формуле 1, t представляет пороговое значение, I(xi, yi) представляет значение яркости i-ой точки Pai концентрации внимания, и I(xi', yi') представляет значение яркости i-ой опорной точки Pri. В соответствии с формулой 1, атрибут s(xi, yi) точки Pai концентрации внимания равен 1, когда значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством прибавления порогового значения t к опорной точке Pri. С другой стороны, атрибут s(xi, yi) точки Pai концентрации внимания равен -1, когда значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t из опорной точки Pri. Атрибут s(xi, yi) точки Pai концентрации внимания равен 0, когда значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri находятся во взаимосвязи, отличной от вышеизложенной взаимосвязи.

[0086] Затем, модуль 36 обнаружения линий краев оценивает то, является или нет линия La концентрации внимания линией края, из неразрывности c(xi, yi) атрибута s вдоль линии La концентрации внимания на основе следующей формулы 2.

ФОРМУЛА 2

когда s(xi, yi)=s(xi+1, yi+1) (за исключением 0=0),

c(xi, yi)=1;

в противном случае:

c(xi, yi)=0.

[0087] Неразрывность c(xi, yi) равна 1, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания являются идентичными. Неразрывность c(xi, yi) равна 0, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными.

[0088] Затем, модуль 36 обнаружения линий краев определяет сумму неразрывностей c всех точек Pa концентрации внимания на линии La концентрации внимания. Модуль 36 обнаружения линий краев делит сумму неразрывностей c, определенных таким способом, на число N точек Pa концентрации внимания, чтобы посредством этого нормализовать неразрывность c. Модуль 36 обнаружения линий краев оценивает линию La концентрации внимания в качестве линии края, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ задается заранее, например, посредством экспериментирования.

[0089] Другими словами, модуль 36 обнаружения линий краев оценивает то, является или нет линия La концентрации внимания линией края, на основе формулы 3, приведенной ниже. Модуль 36 обнаружения линий краев затем оценивает то, являются нет все линии La концентрации внимания, нарисованные в области A1 обнаружения, линиями краев.

ФОРМУЛА 3

∑c(xi, yi)/N>θ

[0090] Возвращаясь к фиг. 3, второй модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Как описано выше, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линию края, идущую в вертикальном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в вертикальном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в областях A1, A2 обнаружения. Соответственно, второй модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Кроме того, второй модуль 37 обнаружения трехмерных объектов определяет то, являются или нет линии краев, обнаруженные посредством модуля 36 обнаружения линий краев, истинными линиями краев, до обнаружения трехмерного объекта. Второй модуль 37 обнаружения трехмерных объектов оценивает то, превышает или нет, на линии края, изменение яркости вдоль лини края изображения вида "с высоты птичьего полета" предварительно определенное пороговое значение. Когда изменение яркости на линиях краев в изображении вида "с высоты птичьего полета" превышает предварительно определенное пороговое значение, определяется то, что линии краев обнаружены посредством ошибочной оценки. С другой стороны, когда изменение яркости на линиях краев в изображении вида "с высоты птичьего полета" не превышает пороговое значение, оценивается то, что линии краев являются корректными. Пороговое значение задается заранее, например, посредством экспериментирования.

[0091] Фиг. 16 является видом, иллюстрирующим распределение яркости на линии края; фиг. 16(a) иллюстрирует линию края и распределение яркости, когда другое транспортное средство V2 в качестве трехмерного объекта присутствует в области A1 обнаружения, а фиг. 16(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области A1 обнаружения.

[0092] Как проиллюстрировано на фиг. 16(a), предполагается, что определено то, что линия La концентрации внимания, заданная на резиновом участке шины другого транспортного средства V2 в изображении вида "с высоты птичьего полета", является линией края. В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" является постепенным. Это обусловлено преобразованием изображения, захваченного посредством камеры 10, в точке обзора, в изображение вида "с высоты птичьего полета", в силу чего шина другого транспортного средства VX растягивается в изображении вида "с высоты птичьего полета". С другой стороны, предполагается, что линия La концентрации внимания, заданная в участке знаков белого цвета "50", нарисованном на поверхности дороги, в изображении вида "с высоты птичьего полета" ошибочно оценивается как линия края, как проиллюстрировано на фиг. 16(b). В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" имеет большую величину флуктуации. Это обусловлено тем, что, на линии края, дорога и другие участки с низкой яркостью смешиваются с участками с высокой яркостью в знаках белого цвета.

[0093] Второй модуль 37 обнаружения трехмерных объектов оценивает то, обнаружена или нет линия края посредством ошибочной оценки, на основе разностей в распределении яркости на линии La концентрации внимания, как описано выше. Второй модуль 37 обнаружения трехмерных объектов определяет то, что линия края обнаружена посредством ошибочной оценки, когда изменение яркости вдоль линии края превышает предварительно определенное пороговое значение. Таки образом, линия края не должна использоваться для обнаружения трехмерного объекта. Снижение точности обнаружения трехмерного объекта посредством этого останавливается, когда знаки белого цвета, такие как "50" на поверхности дороги, придорожная растительность и т.п., оцениваются в качестве линий краев.

[0094] В частности, второй модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линии края с использованием нижеприведенной формулы 4 или 5. Изменение яркости линии края соответствует значению оценки в реальном пространстве в вертикальном направлении. Формула 4 оценивает распределение яркости с использованием совокупного значения квадрата разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания. Формула 5 оценивает распределение яркости с использованием совокупного значения абсолютного значения разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания.

ФОРМУЛА 4

Значение оценки в вертикальном эквивалентном направлении = ∑[{I(xi, yi)-I(xi+1, yi+1)}2]

ФОРМУЛА 5

Значение оценки в вертикальном эквивалентном направлении = ∑|I(xi, yi)-I(xi+1, yi+1)|

[0095] При использовании формулы 5 ограничения не налагаются, и также можно преобразовывать в двоичную форму атрибут b смежного значения яркости с использованием порогового значения t2 и затем суммировать преобразованный в двоичную форму атрибут b для всех точек Pa концентрации внимания, аналогично формуле 6, приведенной ниже.

ФОРМУЛА 6

Значение оценки в вертикальном эквивалентном направлении = ∑b(xi, yi)

где b(xi, yi)=1

когда |I (xi, yi)-I(xi+1, yi+1)|>t2

и b(xi, yi)=0

в противном случае.

[0096] Атрибут b(xi, yi) точки Pa концентрации внимания (xi, yi) равен 1, когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2. Когда вышеуказанная взаимосвязь не справедлива, атрибут b(xi, yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее, к примеру, посредством экспериментирования, так что линия La концентрации внимания не оценивается как находящаяся на идентичном трехмерном объекте. Второй модуль 37 обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и определяет значение оценки в вертикальном эквивалентном направлении, чтобы оценивать то, является или нет линия края корректной.

[0097] Далее описывается способ для обнаружения трехмерного объекта с использованием информации краев в этом варианте осуществления. Фиг. 17 и 18 являются блок-схемами последовательности операций, иллюстрирующими подробности способа для обнаружения трехмерного объекта в этом варианте осуществления. На фиг. 17 и 18 для удобства описывается процесс, связанный с областью A1 обнаружения, но идентичный процесс также выполняется для области A2 обнаружения.

[0098] Во-первых, на этапе S21, предварительно определенная область, указываемая посредством угла a обзора и позиции прикрепления, захватывается посредством камеры 10, как показано на фиг. 17. Затем, модуль 31 преобразования точки обзора принимает ввод захваченных данных изображений, захваченных посредством камеры 10 на этапе S21, и на этапе S22, преобразует точку обзора и формирует данные изображений вида "с высоты птичьего полета".

[0099] Затем, на этапе S23, модуль 35 вычисления яркостного различия задает линию La концентрации внимания в области A1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает линию, соответствующую линии, идущей в вертикальном направлении в реальном пространстве, в качестве линии La концентрации внимания. Далее, на этапе S24, модуль 35 вычисления яркостного различия задает опорную линию Lr в области A1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает, в качестве опорной линии Lr, линию, которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и которая также отстоит на предварительно определенное расстояние в реальном пространстве от линии La концентрации внимания.

[0100] Затем, на этапе S25, модуль 35 вычисления яркостного различия задает множество точек Pa концентрации внимания на линии La концентрации внимания. В это время, модуль 35 вычисления яркостного различия задает точки Pa концентрации внимания в числе, которое не вызывает проблем во время обнаружения краев посредством модуля 36 обнаружения линий краев. Помимо этого, на этапе S26, модуль 35 вычисления яркостного различия задает опорные точки Pr таким образом, что точки Pa концентрации внимания и опорные точки Pr имеют практически идентичную высоту в реальном пространстве. Точки Pa концентрации внимания и опорные точки Pr посредством этого выстраиваются в ряд практически в горизонтальном направлении, и линия края, идущая в вертикальном направлении в реальном пространстве, проще обнаруживается.

[0101] Затем, на этапе S27, модуль 35 вычисления яркостного различия вычисляет яркостное различие между точками Pa концентрации внимания и опорными точками Pr на идентичной высоте в реальном пространстве. Модуль 36 обнаружения линий краев вычисляет атрибут s точек Pa концентрации внимания в соответствии с формулой 1, описанной выше. На этапе S28, модуль 36 обнаружения линий краев затем вычисляет неразрывность c атрибута s точек Pa концентрации внимания в соответствии с формулой 2, описанной выше. На этапе S29, кроме того, модуль 36 обнаружения линий краев определяет то, превышает или нет значение, полученное посредством нормализации суммы неразрывностей c, пороговое значение θ, в соответствии с формулой 3. Когда определено то, что нормализованное значение превышает пороговое значение θ (S29: "Да"), модуль 36 обнаружения линий краев обнаруживает линию La концентрации внимания в качестве линии края на этапе S30. После этого процесс переходит к этапу S31. Когда определено то, что нормализованное значение не превышает пороговое значение θ (этап S29: "Нет"), модуль 36 обнаружения линий краев не обнаруживает линию La концентрации внимания в качестве линии края, и процесс переходит к этапу S31. Хотя это пороговое значение θ может задаваться заранее, оно также может варьироваться в соответствии с управляющими инструкциями из контроллера 39.

[0102] На этапе S31, компьютер 30 определяет то, выполнены или нет процессы этапов S23-S30 для всех линий La концентрации внимания, которые могут задаваться в области A1 обнаружения. Когда определено то, что вышеуказанные процессы не выполнены для всех линий La концентрации внимания (этап S31: "Нет"), процесс возвращается к этапу S23, задает новую линию La концентрации внимания и повторяет процесс посредством этапа S31. С другой стороны, когда определено то, что процессы выполнены для всех линий La концентрации внимания (этап S31: "Да"), процесс переходит к этапу S32 по фиг. 18.

[0103] На этапе S32 по фиг. 18, второй модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой линии края, обнаруженной на этапе S30 по фиг. 17. Второй модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из формул 4, 5 и 6. Далее, на этапе S33, второй модуль 37 обнаружения трехмерных объектов исключает, из числа линий краев, линии краев, в которых изменение яркости превышает предварительно определенное пороговое значение. Другими словами, когда линия края, имеющая большое изменение яркости, не определяется в качестве корректной линии края, линия края не используется для обнаружения трехмерного объекта. Как описано выше, это осуществляется для того, чтобы останавливать обнаружение знаков на поверхности дороги, придорожной растительности и т.п., включенных в область A1 обнаружения, в качестве линий краев. Следовательно, предварительно определенное пороговое значение определяется заранее, к примеру, посредством экспериментирования и задается на основе изменения яркости, которое возникает вследствие знаков на поверхности дороги, придорожной растительности и т.п.

[0104] Затем, на этапе S34, второй модуль 37 обнаружения трехмерных объектов определяет то, составляет или нет количество линий краев второе пороговое значение β или выше. Здесь, второе пороговое значение β задается заранее, как определено, например, посредством экспериментирования. Например, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который должен быть обнаружен, второе пороговое значение β задается на основе числа линий краев четырехколесного транспортного средства, появляющихся в области A1 обнаружения, например, посредством предшествующего экспериментирования. Когда определено то, что количество линий краев составляет второе пороговое значение β или более (S34: "Да"), на этапе S35, второй модуль 37 обнаружения трехмерных объектов обнаруживает присутствие трехмерного объекта в области A1 обнаружения. С другой стороны, когда определяется то, что количество линий краев не имеет второе пороговое значение β или выше (S34: "Нет"), второй модуль 37 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует в области A1 обнаружения. После этого обработка, проиллюстрированная на фиг. 17 и 18, завершается. Обнаруженный трехмерный объект может оцениваться в качестве другого транспортного средства VX, которое движется в смежной полосе движения, которая является смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, либо может оцениваться относительно того, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX, которое движется в смежной полосе движения, с учетом относительной скорости обнаруженного трехмерного объекта относительно рассматриваемого транспортного средства V. Второе пороговое значение β может задаваться заранее, как описано выше, или может варьироваться в соответствии с управляющими инструкциями из контроллера 39, проиллюстрированного на фиг. 31.

[0105] Как описано выше, трехмерный объект, присутствующий в областях A1, A2 обнаружения, обнаруживается посредством способа обнаружения трехмерных объектов с использованием информации краев настоящего варианта осуществления. Следовательно, вертикальная воображаемая линия задается в качестве сегмента линии, который идет в вертикальном направлении в реальном пространстве относительно изображения вида "с высоты птичьего полета". Затем, яркостное различие между двумя пикселами около каждой позиции вычисляется для каждой из множества позиций вдоль вертикальной воображаемой линии, и присутствие трехмерного объекта может быть определено на основе неразрывности между яркостными различиями.

[0106] В частности, линия La концентрации внимания, соответствующая сегменту линии, идущему в вертикальном направлении в реальном пространстве, и опорная линия Lr, которая отличается от линии La концентрации внимания, задаются для областей A1, A2 обнаружения в изображении вида "с высоты птичьего полета". Далее, яркостное различие между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr непрерывно определяется вдоль линии La концентрации внимания и опорной линии Lr. Посредством непрерывного определения яркостного различия точек таким способом, определяется яркостное различие между линией La концентрации внимания и опорной линией Lr. Когда яркостное различие между линией La концентрации внимания и опорной линией Lr является высоким, имеется высокая вероятность того, что существует край трехмерного объекта в заданном местоположении линии La концентрации внимания. Посредством этого можно обнаруживать трехмерный объект на основе непрерывного яркостного различия. В частности, поскольку сравнение яркости выполняется для вертикальных воображаемых линий, идущих в вертикальном направлении в реальном пространстве, на обработку обнаружения трехмерного объекта не оказывается влияние, даже если трехмерный объект растягивается по высоте от поверхности дороги в результате преобразования в изображение вида "с высоты птичьего полета". Следовательно, точность обнаружения для трехмерных объектов повышается посредством способа этого примера.

[0107] В этом примере, определяется яркостное различие в двух точках практически с идентичной высотой около вертикальной воображаемой линии. В частности, яркостное различие между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr определяется практически на идентичной высоте в реальном пространстве, и посредством этого можно безусловно обнаруживать разность в яркости, когда присутствует край, который идет в вертикальном направлении.

[0108] Помимо этого, в этом примере, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr, и определяется то, является или нет линия La концентрации внимания линией края, на основе неразрывности c атрибутов вдоль линии La концентрации внимания. Следовательно, границы между областями, имеющими высокую яркость, и областями, имеющими низкую яркость, обнаруживаются в качестве линий краев, и края могут быть обнаружены в соответствии с естественным человеческим восприятием. Ниже подробно описываются результаты вышеуказанного. Фиг. 19 является видом, иллюстрирующим пример изображения для описания обработки модуля 36 обнаружения линий краев. Этот пример изображения является изображением, в котором первый полосковый шаблон 101 и второй полосковый шаблон 102 являются смежными друг с другом, при этом первый полосковый шаблон 101 указывает полосковый шаблон, в котором повторяются области с высокой яркостью и области с низкой яркостью, а второй полосковый шаблон 102 указывает полосковый шаблон, в котором повторяются области с низкой яркостью и области с высокой яркостью. Кроме того, в этом примере изображения области первого полоскового шаблона 101, в которых яркость является высокой, и области второго полоскового шаблона 102, в которых яркость является низкой, являются смежными друг с другом, и области первого полоскового шаблона 101, в которых яркость является низкой, и области второго полоскового шаблона 102, в которых яркость является высокой, являются смежными друг с другом. Местоположение 103, размещаемое на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством человеческого восприятия.

[0109] Напротив, поскольку область с низкой яркостью и область с высокой яркостью являются смежными друг с другом, местоположение 103 идентифицируется в качестве края, когда края обнаруживаются только посредством яркостного различия. Тем не менее, модуль 36 обнаружения линий краев определяет местоположение 103 в качестве линии края только тогда, когда существует неразрывность в атрибутах яркостного различия, в дополнение к яркостному различию в местоположении 103. Следовательно, модуль 36 обнаружения линий краев допускает подавление ошибочного определения, при котором местоположение 103, которое не идентифицируется в качестве линии края посредством человеческого восприятия, идентифицируется в качестве линии края, и края могут быть обнаружены в соответствии с человеческим восприятием.

[0110] Помимо этого, в этом примере, оценка того, что линия края обнаружена посредством ошибочного определения, выполняется, когда изменение яркости линии края, обнаруженной посредством модуля 36 обнаружения линий краев, превышает предварительно определенное пороговое значение. Когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение вида "с высоты птичьего полета", трехмерные объекты, включенные в захваченное изображение, зачастую появляются растянутыми в изображении вида "с высоты птичьего полета". Например, как описано выше, когда шина другого транспортного средства V2 укрупняется, изменения яркости изображения вида "с высоты птичьего полета" в направлении растягивания имеют тенденцию быть малыми, поскольку шина в качестве одного местоположения растягивается. Напротив, когда символ и т.п., нанесенный на поверхности дороги, ошибочно определен в качестве линии края, такие области, как участок символов, имеющий высокую яркость, и такие области, как участок поверхности дороги, имеющий низкую яркость, смешанно включаются в изображение вида "с высоты птичьего полета". В таком случае, изменения яркости в направлении растягивания имеют тенденцию быть больше в изображении вида "с высоты птичьего полета". Соответственно, посредством оценки изменения яркости в изображении вида "с высоты птичьего полета" вдоль линий краев, аналогично этому примеру, можно идентифицировать линии краев, которые обнаружены посредством ошибочного определения, посредством этого повышая точность обнаружения для трехмерных объектов.

[0111] ОКОНЧАТЕЛЬНАЯ ОЦЕНКА ТРЕХМЕРНОГО ОБЪЕКТА

Возвращаясь к фиг. 3, при обнаружении трехмерного объекта посредством двух модулей 33, 37 обнаружения трехмерных объектов, описанных выше, устройство 1 обнаружения трехмерных объектов этого примера имеет модуль 38 оценки трехмерных объектов для выполнения конечной оценки относительно того, имеется или нет трехмерный объект, на основе результатов обнаружения первого модуля 33 обнаружения трехмерных объектов и результатов обнаружения второго модуля 37 обнаружения трехмерных объектов, и контроллер 39 для управления устройством 41 удаления капель воды в зависимости от того, прилипли или нет капли воды к линзе, как обнаруживается посредством модуля 40 обнаружения капель воды.

[0112] Сначала описывается пример способа обнаружения капель воды, осуществляемого посредством модуля 40 обнаружения капель воды. Фиг. 24A является видом в перспективе, иллюстрирующим камеру 10, которая представляет собой средство захвата изображений, при просмотре слева и сзади транспортного средства. Как описано выше, линза 11 (или фильтр захвата), который составляет оптическую систему захвата, включается в камеру 10, но посредством монтажа камеры за пределами транспортного средства, капли воды, которые разбрызгиваются от поверхности дороги, или капли дождя зачастую прилипают к линзе 11, которая является внешней поверхностью камеры 10. Когда окружающая среда является яркой, например, днем, граничные края капель воды не извлекаются легко, когда выполняется извлечение краев захваченного изображения, и капли воды, которые прилипли к линзе 11, не имеют существенного влияния на обнаружение трехмерного объекта. Тем не менее, когда окружающая среда является темной, к примеру, ночью, границы капли воды извлекаются в качестве информации краев, когда выполняется извлечение краев для захваченного изображения, и могут быть ошибочно обнаружены в качестве трехмерных объектов.

[0113] По этой причине, в этом примере, обнаруживается то, прилипли или нет капли воды к линзе 11, и когда прилип предварительно определенный объем капель воды или более, устройство 41 удаления капель воды работает с возможностью удалять капли воды. В силу этого предотвращается ошибочное обнаружение капель воды в качестве трехмерных объектов.

[0114] Фиг. 26(a) является видом, иллюстрирующим вид сверху захваченного изображения для описания способа для обнаружения капель воды с использованием захваченного изображения, полученного посредством камеры 10. При использовании способа обнаружения капель воды этого примера, точки концентрации внимания задаются для всех пикселов захваченного изображения или для соответствующих пикселов конкретных областей, например, областей в захваченном изображении, соответствующих областям A1 и A2 обнаружения, показанным на фиг. 2. Фиг. 26(a) показывает состояние, в котором точка концентрации внимания задана для одного пиксела. Затем, мнимая окружность с предварительно определенным радиусом, центрированным на этой точке концентрации внимания, гипотетически предполагается. Эта мнимая окружность соответствует границе капли воды. Это вытекает из такого факта, что для множества капель воды граница является круговой вследствие вовлечения поверхностного натяжения.

[0115] Затем, множество внутренних опорных точек (первых опорных точек) задается внутри мнимой окружности, которая гипотетически предполагается, и внешние опорные точки (вторые опорные точки), которые находятся за пределами мнимой окружности, задаются на прямых линиях, соединяющих точку концентрации внимания и соответствующие внутренние опорные точки. В этом примере, внутренние опорные точки задаются в позициях, которые отделяются от точки концентрации внимания посредством 1-пиксельной диагональной линии, и внешние опорные точки задаются в позициях, которые отделяются от точки концентрации внимания посредством 5-пиксельной диагональной линии, например, как показано на фиг. 26(b). Радиус мнимой окружности и позиции задания внутренних опорных точек и внешних опорных точек могут быть выбраны с возможностью иметь подходящие значения на основе размера капель воды и частоты прилипания капель воды к линзе, как определено посредством опыта. Помимо этого, множество радиусов мнимой окружности (в частности, внутренние опорные точки и внешние опорные точки) может задаваться для одного пиксела.

[0116] В этом примере, всего пять точек в верхней центральной части, верхней левой части, верхней правой части, нижней левой части и нижней правой части внутри мнимой окружности задаются в качестве внутренних опорных точек, и всего пять точек в верхней центральной части, верхней левой части, верхней правой части, нижней левой части и нижней правой части за пределами мнимой окружности задаются в качестве внешних опорных точек. Верхняя центральная часть получается при условии, что капля воды становится заметной за счет передних фар едущего сзади транспортного средства в идентичной полосе движения, верхняя левая часть и верхняя правая часть аналогично получаются при условии, что капля воды становится заметной за счет передних фар едущих сзади транспортных средств в левой и правой смежных полосах движения, и нижняя левая часть и нижняя правая часть получаются при условии, что капля воды становится заметной посредством белых линий дорожной разметки на границах со смежными полосами движения. Хотя желательно задавать, по меньшей мере, пять внутренних опорных точек и пять внешних опорных точек в позициях таким способом, можно опускать внутренние опорные точки или внешние опорные точки либо в нижней левой части, либо в нижней правой части.

[0117] Хотя предпочтительно, если расстояния между точкой концентрации внимания и соответствующими внутренними опорными точками являются идентичными, эквивалентное расстояние в строгом значении этого термина не требуется. Помимо этого, хотя предпочтительно, если расстояния между точкой концентрации внимания и соответствующими внешними опорными точками также являются идентичными, эквивалентное расстояние в строгом значении этого термина не требуется.

[0118] Если множество внутренних опорных точек и соответствующее множество внешних опорных точек задаются способом, описанным выше для одной точки концентрации внимания, то присутствие капли воды обнаруживается посредством следующей процедуры. Фиг. 27 является блок-схемой последовательности операций способа, показывающей процедуру обнаружения капель воды в модуле 40 обнаружения капель воды. Во-первых, как показано на этапе S51, множество внутренних опорных точек и соответствующее множество внешних опорных точек задаются для одной точки концентрации внимания (в этом примере, пять точек для каждой), затем на этапе S52, значения яркости считываются из выходных сигналов пикселов, соответствующих внутренним опорным точкам и внешним опорным точкам. На этапе S53, затем определяется то, равны или меньше либо нет значения яркости пяти внешних опорных точек первого значения определения, и если все равны или меньше первого значения определения, то процесс переходит к этапу S54, и выполняется последующее определение. Если все не равны или меньше первого значения определения, то процесс переходит к этапу S59, и определяется то, что капля воды не прилипла в этой точке концентрации внимания.

[0119] На этапе S54, разность между значениями яркости пяти внутренних опорных точек и значениями яркости пяти внешних опорных точек, соответствующих им, определяется для того, чтобы обнаруживать информацию краев между соответствующими внутренними опорными точками и внешними опорными точками. Затем, на этапе S55, выполняется определение в отношении того, равны или превышают либо нет пять яркостных различий или второе значение определения, и если все яркостные различия равны или превышают второе значение определения, то процесс переходит к этапу S56, и выполняется последующее определение. Если все не равны или превышают второе значение определения, то процесс переходит к этапу S59, и определяется то, что капля воды не прилипла в этой точке концентрации внимания.

[0120] На этапе S56, определяются яркостное различие между внешними опорными точками в верхней левой части и верхней правой части и яркостное различие между внешними опорными точками в нижней левой части и нижней правой части. Затем, на этапе S57, то, определяется равны или меньше либо нет эти два яркостных различия третьего значения определения, и если оба яркостных различия равны или меньше третьего значения определения, то процесс переходит к этапу S58, и определяется то что капля воды прилипла в этой точке концентрации внимания. Если оба не равны или меньше третьего значения определения, то процесс переходит к этапу S59, и определяется то, что капля воды не прилипла в этой точке концентрации внимания.

[0121] На этапе S60, определяется то, выполнены или нет процессы этапов S51-S59, описанных выше, для всех целевых пикселов, и если не завершены, то процесс возвращается к этапу S51, точка концентрации внимания и опорные точки задаются для следующего целевого пиксела, и повторяются процессы, описанные выше. После того, как обработка завершена для всех целевых пикселов, процесс обнаружения капель воды завершается.

[0122] В процессе обнаружения капель воды, описанном выше, капли воды обнаруживаются и оцениваются на основе значений яркости внешних опорных точек, равных или меньших первого значения определения (в частности, достаточной темноты за пределами мнимой окружности), яркостного различия между внутренними опорными точками и внешними опорными точками, равного или превышающего второе значение определения (в частности, присутствия края, который может быть границей капли воды между внутренними опорными точками и внешними опорными точками), и яркостных различий слева и справа, выше и ниже, соответственно, равных или меньших третьего значения определения (в частности, неприсутствия объекта и т.п., отличного от капли воды, слева или справа). Затем, определяется то, что прилипла капля воды, когда все эти условия определения удовлетворяются. В частности, когда яркостные различия между пятью внутренними опорными точками и внешними опорными точками равны или превышают второе значение определения, имеется высокая вероятность того, что участок мнимой окружности должен быть обнаружен в качестве границы капли воды, когда извлекается информация краев, и имеется высокая вероятность того, что совокупное тело информации краев должно идентифицироваться в качестве круга. В этом примере, высокая вероятность распознавания информации краев в качестве круга в силу этого упоминается в качестве степени округлости, и определяется то, что возникает все более высокая вероятность того, что объект представляет собой каплю воды, по мере того, как увеличивается степень округлости.

[0123] В примере, описанном выше, определяется то, что капля воды прилипла, когда все яркостные различия между пятью внутренними опорными точками и внешними опорными точками равны или превышают второе значение определения, но определение того, что капля воды прилипла, может выполняться, когда отношение обнаружения информации краев из пяти элементов данных равно или превышает предварительно определенное отношение. Например, когда задаются восемь внутренних опорных точек и внешних опорных точек, степень округлости информации краев считается высокой, когда шесть или более из яркостных различий между восемью внутренними опорными точками и внешними опорными точками равны или превышают второе значение определения, и, следовательно, может выполняться определение в отношении того, что капля воды прилипла.

[0124] Далее описывается пример устройства 41 удаления капель воды для удаления капель воды или грязи, прилипшей к линзе 11 камеры 10. Как показано на фиг. 23, устройство 41 удаления капель воды этого примера имеет бачок 411 с резервуаром для очищающей жидкости для накопления очищающей жидкости, насос 412 для подачи очищающей жидкости для выпуска очищающей жидкости, которая накоплена в бачке 411 с резервуаром для очищающей жидкости, воздушный насос 414 для выпуска сжатого воздуха и форсунку 416 для выталкивания очищающей жидкости, сжатого воздуха либо смеси очищающей жидкости и сжатого воздуха в направлении линзы 11 камеры 10.

[0125] Дополнительно, предусмотрена линия 413 для очищающей жидкости для проведения очищающей жидкости, которая выпущена посредством насоса 412 для подачи очищающей жидкости, во вторичный бачок 417 для накопления очищающей жидкости, воздухопровод 415 для проведения сжатого воздуха, который выпущен посредством воздушного насоса 414, в форсунку 416 модуля 418 форсунки, и контроллер 39 для управления работой насоса 412 для подачи очищающей жидкости и воздушного насоса 414.

[0126] Фиг. 24A является видом в перспективе, показывающим состояние, в котором устройство 41 удаления капель воды этого примера устанавливается на камере 10, которая смонтирована в задней части транспортного средства. Модуль 418 форсунки для очистки поверхности линзы 11 крепится, конечно, к задней части транспортного средства, около боковой части камеры 10, которая прикреплена к задней части транспортного средства. Крышка 416a и форсунка 416 для распыления сжатого воздуха и очищающей жидкости в линзу 11 предоставляются на модуле 418 форсунки. Форсунка 416, как показано на фиг. 24B, имеет два отверстия 419 для выталкивания для распыления сжатого воздуха и очищающей жидкости на своем дальнем конце. Другими словами, достигается конфигурация, в которой постороннее вещество, такое как капли воды или грязь, которое прилипло к поверхности линзы 11, удаляется посредством распыления очищающей жидкости и сжатого воздуха в направлении поверхности линзы 11 из отверстий 419 для выталкивания форсунки 416.

[0127] Фиг. 25 является видом в перспективе, показывающим частичное поперечное сечение модуля 418 форсунки, проиллюстрированного на фиг. 24A. Как показано на фиг. 25, в форсунке 416, которая предоставляется в направлении дальнего конца модуля 418 форсунки, предоставляется воздушный канал 420 для проведения сжатого воздуха в средний участок, и каналы 421a, 421b для очищающей жидкости для проведения очищающей жидкости предоставляются и справа и слева от воздушного канала 420. Помимо этого, дальние концы воздушного канала 420 и каналов 421a, 421b для очищающей жидкости изгибаются примерно под прямыми углами таким образом, что они обращены к поверхности линзы 11 камеры 10.

[0128] Кроме того, вторичный бачок 417 для временного накопления очищающей жидкости предоставляется на впускной стороне каналов 421a, 421b для очищающей жидкости. Соединитель 417a для соединения линии 413 для очищающей жидкости и соединитель 417b для соединения воздухопровода 415 предоставляются на боковой части вторичного бачка 417. Соединитель 417b из них двух соединяется с воздушным каналом 420 через поточную линию, которая предоставляется под вторичным бачком 417. Другими словами, сжатый воздух, который проводится в модуль 418 форсунки через соединитель 417b, проводится непосредственно в воздушный канал 420.

[0129] Помимо этого, соединитель 417a соединяется со вторичным бачком 417, и очищающая жидкость, которая подается через соединитель 417a, протекает внутрь из места выше вторичного бачка 417. Линия, которая соединяет соединитель 417a со вторичным бачком 417, вертикально ориентирована.

[0130] Как показано на фиг. 25, нижняя часть вторичного бачка 417 соединяется с двумя каналами 421a, 421b для очищающей жидкости. Следовательно, сжатый воздух, который выпускается посредством воздушного насоса 414, проиллюстрированного на фиг. 23, проводится в воздушный канал 420 форсунки 416 через воздухопровод 415, тогда как очищающая жидкость, которая выпущена из насоса 412 для подачи очищающей жидкости, проводится в два канала 421a, 421b для очищающей жидкости после накопления во вторичном бачке 417.

[0131] Затем, контроллер 39, проиллюстрированный на фиг. 23, в силу соединения с модулем управления, который монтируется в транспортном средстве, получает информацию касательно транспортного средства различных типов, т.е. информацию скорости рассматриваемого транспортного средства, информацию переключателя стеклоочистителя, информацию переключателя стеклоомывателя, информацию состояния программного обеспечения и информацию переключателя света передних фар, а также получает информацию изображений, снятых камерой, которая представляет собой изображение, захваченное посредством камеры 10. Помимо этого, контроллер 39 оценивает режим очистки линзы 11 на основе различных типов информации касательно транспортного средства и на основе обнаруженной информации из модуля 40 обнаружения капель воды для оценки того, прилипли или нет капли воды к поверхности линзы 11 камеры 10, на основе информации изображений, снятых камерой. Помимо этого, на основе оцениваемого режима очистки, управляется приведение в действие воздушного насоса 414, и управляется приведение в действие насоса 412 для подачи очищающей жидкости.

[0132] Устройство 41 удаления капель воды этого примера задает три режима: режим очистки под давлением, в котором линза 11 очищается посредством выпуска очищающей жидкости и сжатого воздуха, режим продувки воздухом, в котором капли воды, которые прилипли к линзе 11, удаляются посредством выпуска только сжатого воздуха, и режим непрерывного промывания, в котором очищающая жидкость прерывисто разбрызгивается на линзу 11, и грязь не прилипает легко к линзе 11. Камера 10 эффективно очищается посредством надлежащего выбора и осуществления одного из трех режимов в соответствии с различными условиями, такими как грязь на линзе 11 или погодные условия. В нижеприведенном описании, опускаются описания режима очистки под давлением и режима непрерывного промывания, и описывается удаление капель воды с использованием режима продувки воздухом, связанного с настоящим изобретением.

[0133] В режиме продувки воздухом устройства 41 удаления капель воды этого примера, только воздушный насос 414 приводится в действие посредством контроллера 39, когда очищающая жидкость не накапливается во вторичном бачке 417. Как результат, сжатый воздух продувается из отверстия 419 для выталкивания на дальнем конце воздушного канала 420 к поверхности линзы 11. Как результат, капли воды, которые прилипли к поверхности линзы 11 камеры 10, могут удаляться посредством давления воздуха.

[0134] Таким образом, контроллер 39 этого примера управляет работой устройства 41 удаления капель воды в соответствии с состоянием прилипания капель воды, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11. В частности, подсчитывается число прилипших капель воды, и время работы для продувки воздухом продлевается для больших объемов прилипших капель.

[0135] Фиг. 21 и 22 являются картами управления, показывающими пример задания интервала отключения продувки воздухом относительно числа прилипших капель воды. Фиг. 21 является примером, в котором интервал отключения продувки воздухом сокращается по мере того, как возрастает число прилипших капель воды. Фиг. 22(a) является функциональной временной диаграммой для продувки воздухом для случая, в котором число прилипших капель воды является малым, и фиг. 22(b) является примером функциональной временной диаграммы для продувки воздухом для случая, в котором число прилипших капель воды является большим. При выполнении управления включением/выключением работы воздушного насоса 414 устройства 41 удаления капель воды контроллер 39 задает, соответственно, меньший интервал t1 отключения, как показано на фиг. 22(b), по мере того как возрастает число капель воды, обнаруженных посредством модуля 40 обнаружения капель воды (t1<t0). Время продувки воздухом поверхности линзы 11 камеры 10 посредством этого продлевается, обеспечивая возможность удаления, даже когда прилипло большое число капель воды. Наоборот, когда имеется немного прилипших капель воды, задается больший интервал t0 отключения продувки воздухом, посредством этого сокращая время продувки воздухом поверхности линзы 11 камеры 10 и резко уменьшая период необнаружения.

[0136] Далее, со ссылкой на фиг. 20, описывается работа модуля 38 оценки трехмерных объектов и контроллера 39. Во-первых, на этапе S41, состояние прилипания капель воды (число капель воды) на линзе 11 обнаруживается посредством модуля 40 обнаружения капель воды и выводится в контроллер 39. Этап S42 выполняется в этот момент только тогда, когда капли воды прилипли, по меньшей мере, к одной из областей A1 и A2 обнаружения, и этапа S42 не должен обязательно выполняться, когда капли воды не прилипли ни к одной области A1 или A2 обнаружения. Поскольку имеется высокая вероятность того, что должно возникать ошибочное обнаружение вследствие прилипания капель воды, когда окружение является темным, яркость окружения может быть обнаружена посредством датчика экспозиции и т.п. камеры 10, при выполнении этапа S42 тогда, когда яркость равна или меньше предварительно определенного значения.

[0137] На этапе S42, контроллер 39 задает время отключения продувки воздухом в режиме продувки воздухом устройства 41 удаления капель воды с использованием карты управления по фиг. 21, которая сохранена заранее вместе с обнаруженным состоянием прилипания капель воды, и также выполняет продувку воздухом согласно заданным условиям. Продувка воздухом в силу этого выполняется в соответствии с состоянием прилипания капель воды, и удаляются капли воды, которые прилипли к поверхности линзы 11.

[0138] На этапе S43, обнаружение трехмерного объекта выполняется с использованием информации формы разностного сигнала согласно процедуре, описанной выше. Помимо этого, на этапе S44, обнаружение трехмерного объекта выполняется с использованием информации краев согласно процедуре, описанной выше. При обнаружении трехмерного объекта с использованием информации разности и при обнаружении трехмерного объекта с использованием информации краев, первое пороговое значение α и второе пороговое значение β, соответственно, предварительно задаются в первом модуле 33 обнаружения трехмерных объектов и во втором модуле 37 обнаружения трехмерных объектов.

[0139] На этапе S45, оценивается то, обнаружен или нет объект как представляющий собой трехмерный объект на этапе S43, и то, обнаружен или нет объект как представляющий собой трехмерный объект на этапе S44, и если объект обнаружен как представляющий собой трехмерный объект на этапе S43 и этапе S44, то процесс переходит к этапу S46, и выполняется конечная оценка в отношении того, что объект представляет собой трехмерный объект. Если объект не обнаружен как представляющий собой трехмерный объект ни на одном из этапов S43 или S44, то процесс переходит к этапу S47, и выполняется конечная оценка в отношении того, что объект не представляет собой трехмерный объект.

[0140] Как описано выше, согласно устройству 1 обнаружения трехмерных объектов этого примера, когда капли воды прилипли к линзе 11 камеры 10, и когда окружение обнаружения является темным, например, в течение ночи, в таком случае, хотя имеется вероятность ошибочного обнаружения капель воды в качестве трехмерного объекта вследствие влияния уличных светильников, передних фар и т.п., поскольку капли воды эффективно удаляются посредством устройства 41 удаления капель воды, когда прилипло большое число капель воды, может предотвращаться ошибочное обнаружение трехмерных объектов и капель воды.

[0141] В этой связи, при формировании информации формы разностного сигнала посредством модуля 32 совмещения и первого модуля 33 обнаружения трехмерных объектов на фиг. 3, изображение вида "с высоты птичьего полета" в текущий момент времени и изображение вида "с высоты птичьего полета" за один момент времени до этого совмещены при сдвиге изображения вида "с высоты птичьего полета" на проезжаемое расстояние в реальном пространстве на основе скорости движения транспортного средства, как показано на фиг. 4 в варианте осуществления, описанном выше, определено разностное изображение в этом состоянии, и из него сформирована информация формы разностного сигнала. Тем не менее, также может использоваться способ, описанный ниже.

[0142] В частности, количество пикселов (число пикселов, показывающее разность), соответствующих характеристическим точкам движущегося объекта, увеличивается в разностном изображении, в котором захваченные изображения в разные моменты времени смещаются, и количество пикселов, соответствующих характеристическим точкам стационарного объекта, увеличивается в разностном изображении, в котором захваченные изображения в разные моменты времени не смещаются. Таким образом, в этом примере, трехмерный объект оценивается как представляющий собой стационарный объект или движущийся объект на основе сравнения пиксельного значения (количества краев) разностного изображения для захваченных изображений в разные моменты времени, которые смещены, и пиксельного значения (количества краев) разностного изображения для захваченных изображений в разные моменты времени, которые не смещены.

[0143] Как проиллюстрировано на фиг. 28(a), когда представление Q(T0) трехмерного объекта обнаружено в областях A1, A2 обнаружения в предыдущее время T0, и представление Q(T1) трехмерного объекта обнаружено в областях A1, A2 обнаружения в текущее время T1 после времени T0, поскольку рассматриваемое транспортное средство V, которое представляет собой основной объект обнаружения, движется в направлении B, представление Q(T0) трехмерного объекта, который обнаружен в предыдущее время T0, перемещает изображение в позицию представления Q(T1) трехмерного объекта вверх на чертеже областей A1, A2 обнаружения.

[0144] Как проиллюстрировано на фиг. 28(b), получаются: распределение компонентов краев или пикселов представления Q(T1) трехмерного объекта, который обнаружен в текущее время T1, распределение компонентов краев или пикселов представления Q(T0A) трехмерного объекта, который смещен на предварительно определенную величину, которое является представлением представления Q(T0) трехмерного объекта, который обнаружен в предыдущее время T0, и распределение компонентов краев или пикселов представления Q(T0B) трехмерного объекта, который не смещен, которое является изображением представления Q(T0) трехмерного объекта, который обнаружен в идентичное предыдущее время T0.

[0145] Как показано на фиг. 28(b), сравниваются изображение T1 и смещенное изображение T0A, и позиции представления Q(T1) трехмерного объекта в изображении T1 и представления Q(T0A) трехмерного объекта в изображении T0A (позиция вдоль направления B движения рассматриваемого транспортного средства V) фактически совместно используются. С другой стороны, как показано на идентичном чертеже, когда сравниваются изображение T1 и изображение T0B, которое не смещается, позиции представления Q(T1) трехмерного объекта в изображении T1 и представления Q(T0B) трехмерного объекта в изображении T0B (позиция вдоль направления B движения рассматриваемого транспортного средства V) отличаются. Другими словами, когда определяется разностное изображение относительно T1 и T0A, поскольку нет остатка при вычитании совместно используемых участков, имеется малое число пикселов, которые извлекаются как характерные. Когда определяется разностное изображение относительно T1 и T0B, другие части остаются, и, следовательно, число пикселов, которые извлекаются как характерные, соответственно, увеличивается.

[0146] После этого то, трехмерный объект представляет собой движущийся объект или стационарный объект, рассматривается в описании точек концентрации внимания, показанных на фиг. 28. Случай, в котором трехмерный объект представляет собой движущийся объект, описывается со ссылкой на фиг. 29, а случай, в котором трехмерный объект представляет собой стационарный объект, описывается со ссылкой на фиг. 30.

[0147] Как показано на фиг. 29(a), когда трехмерный объект, который должен быть обнаружен, представляет собой другое транспортное средство VX, которое движется, и рассматриваемое транспортное средство V и другое транспортное средство VX движутся, и таким образом, существует тенденция к поддержанию предварительно определенной позиционной взаимосвязи между рассматриваемым транспортным средством V и другим транспортным средством VX. Другими словами, возникает тенденция к смещению позиции другого транспортного средства VX, когда смещается захваченное изображение, и множество пикселов, которые обнаруживаются как характерные (края), должно быть обнаружено в разностном изображении PDt. С другой стороны, как проиллюстрировано на фиг. 29(b), когда захваченное изображение не смещается, возникает тенденция к близкому расположению позиций рассматриваемого транспортного средства V и другого транспортного средства VX, и малое число пикселов, которые обнаруживаются как характерные (края), должно быть обнаружено в разностном изображении PDt. Если пикселов (краев) в разностном изображении PDt большое число, то значение интегрирования должно увеличиваться, а если пикселов (краев) в разностном изображении PDt малое число, то значение интегрирования имеет тенденцию быть низким в информации формы разностного сигнала.

[0148] Помимо этого, как проиллюстрировано на фиг. 30(a), когда трехмерный объект, который должен быть обнаружен, представляет собой стационарный объект Q1, который является стационарным, поскольку стационарный объект Q1 является стационарным в то время, когда движется рассматриваемое транспортное средство V, возникает тенденция к диспаратности между рассматриваемым транспортным средством V и стационарным объектом Q1. Другими словами, позиции рассматриваемого транспортного средства V и стационарного объекта Q1 имеют тенденцию располагаться рядом, когда смещается захваченное изображение, и малое пикселов (краев), которые считаются характерными, должно быть обнаружено в разностном изображении PDt. С другой стороны, как проиллюстрировано на фиг. 30(b), если захваченное изображение не смещается, то позиция стационарного объекта Q1 имеет тенденцию отличаться от позиции предыдущего захваченного изображения по мере того, как движется рассматриваемое транспортное средство V, и предусмотрено множество пикселов (краев), которые обнаруживаются как характерные, обнаруживаемых в разностном изображении PDt. Если пикселов (краев) в разностном изображении PDt большое число, то значение интегрирования должно увеличиваться в информации распределения яркости, а если пикселов (краев) в разностном изображении PDt малое число, то значение интегрирования имеет тенденцию быть низким в информации распределения яркости.

[0149] Способ рассуждения, описанный выше, аналогично может быть использован при использовании информации краев.

Другими словами, позиция в первом изображении вида "с высоты птичьего полета", полученном в первый момент T0 времени, в котором трехмерный объект обнаружен, и позиция во втором изображении вида "с высоты птичьего полета", которое получено во второй момент T1 времени после первого момента, совмещаются с точки обзора "с высоты птичьего полета", и в разностном изображении совмещенного изображения вида "с высоты птичьего полета", подсчитывается число пикселов, для которых яркостное различие смежных областей изображения равно или превышает предварительно определенное пороговое значение, формируется частотное распределение, и определяется первое значение интегрирования сформированной первой информации распределения яркости. Другими словами, смещенное разностное изображение формируется с учетом величины движения рассматриваемого транспортного средства V. Величина d' смещения определяется на основе времени от одного момента времени до этого до данного момента времени и сигнала из датчика 20 скорости транспортного средства, соответствующего величине перемещения в данных изображений вида "с высоты птичьего полета", соответствующих фактическому проезжаемому расстоянию рассматриваемого транспортного средства V, проиллюстрированного на фиг. 4(a). Первое значение интегрирования является совокупным значением всех значений, проиллюстрированных в первой информации распределения яркости, или совокупным значением предварительно определенной области.

[0150] Затем, в разностном изображении, полученном без сдвига позиций относительно первого изображения вида "с высоты птичьего полета", полученного в первый момент T0 времени, и второго изображения вида "с высоты птичьего полета", полученного во второй момент T1 времени после первого момента T0 времени, подсчитывается число пикселов, для которых яркостное различие в смежных областях изображения равно или превышает предварительно определенное пороговое значение, формируется частотное распределение, и определяется второе значение интегрирования сформированной второй информации распределения яркости. Другими словами, формируется разностное изображение, которое не смещается, и вычисляется его значение интегрирования (второе значение интегрирования). Второе значение интегрирования является совокупным значением всех значений, проиллюстрированных во второй информации распределения яркости, или совокупным значением предварительно определенной области.

[0151] Затем, если значение оценки частоты, при которой второе значение интегрирования оценивается как превышающее первое значение интегрирования, равно или превышает предварительно определенное пороговое значение оценки, то трехмерный объект, который обнаружен посредством первого модуля 33 обнаружения трехмерных объектов, оценивается в качестве "движущегося объекта". Способ вычисления значения оценки не имеет ограничений, но в этом варианте осуществления, точки оценки подсчитываются каждый раз, когда выполняется оценка того, что второе значение интегрирования превышает первое значение интегрирования, в процессе, который повторяется с предварительно определенным периодом, и совокупное значение определяется в качестве "значения оценки".

[0152] Таким образом, на основе захваченных изображений в разные моменты времени, характеристики перехода изображения стационарного объекта и характеристики перехода изображения движущегося объекта идентифицируются на основе соотношения абсолютных величин между количеством пикселов (количеством краев), извлеченным из разностного изображения для смещенного предыдущего захваченного изображения и текущего захваченного изображения, и количеством пикселов (количеством краев), извлеченным из разностного изображения для несмещенного предыдущего захваченного изображения и текущего захваченного изображения, и может выполняться оценка с высокой точностью в отношении того, представляет трехмерный объект собой движущийся объект или стационарный объект.

[0153] В этом примере, значение оценки вычисляется посредством увеличения первого значения счетчика, когда второе значение интегрирования (количество краев) пикселов, демонстрирующих предварительно определенную разность в разностном изображении относительно несмещенного изображения, оценивается как превышающим первое значение интегрирования (количество краев) пикселов, демонстрирующих предварительно определенную разность в разностном изображении относительно смещенного изображения. Другими словами, значение оценки увеличивается вместе с накоплением оценок того, что второе значение интегрирования превышает первое значение интегрирования. Когда значение оценки равно или превышает предварительно определенное пороговое значение оценки, трехмерный объект затем оценивается как представляющий собой стационарный объект.

[0154] В этом процессе, когда оценка, указывающая то, что второе значение интегрирования превышает первое значение интегрирования, продолжается, первое значение счетчика задается выше с дальнейшим продолжением этой оценки. Таким образом, когда оценка того, что второе значение интегрирования превышает первое значение интегрирования, продолжается, оценивается то, что имеется высокая вероятность того, что обнаруженный трехмерный объект представляет собой стационарный объект, и первое значение счетчика увеличивается, с тем чтобы увеличивать значение оценки. Следовательно, можно оценивать с высокой точностью то, представляет или нет трехмерный объект собой движущийся объект, на основе результатов последовательных наблюдений.

[0155] Значение оценки может быть вычислено посредством увеличения первого значения счетчика, когда оценивается то, что второе значение интегрирования превышает первое значение интегрирования, и уменьшения второго значения счетчика, когда оценивается то, что, второе значение интегрирования меньше первого значения интегрирования. В этом случае, когда модуль обнаружения стационарного объекта 38 оценивает то, что второе значение интегрирования превышает первое значение интегрирования, затем оценивает то, что второе значение интегрирования меньше первого значения интегрирования, и после этого оценивает то, что второе значение интегрирования превышает первое значение интегрирования, первое значение счетчика задается высоким.

[0156] Когда оценка того, что второе значение интегрирования превышает первое значение интегрирования, и оценка того, что первое значение интегрирования превышает второе значение интегрирования, чередуются таким способом, выполняется оценка того, что имеется высокая вероятность того, что обнаруженный трехмерный объект представляет собой стационарный объект, и первое значение счетчика увеличивается таким образом, что увеличивается значение оценки. Следовательно, стационарный объект может оцениваться с высокой точностью на основе результатов последовательных наблюдений. В этой связи, существует сильный тренд к стабильному наблюдению для обнаружения характеристик движущегося объекта. Это обусловлено тем, что если результаты обнаружения являются нестабильными, и результат оценки того, что трехмерный объект представляет собой стационарный объект, обнаруживается дискретным способом, то может быть оценено то, что имеется высокая вероятность того, что обнаруженный трехмерный объект представляет собой стационарный объект.

[0157] Помимо этого, когда оценивается то, что второе значение интегрирования меньше первого значения интегрирования, второе значение счетчика уменьшается, и вычисляется значение оценки. В этом случае, когда оценка того, что второе значение интегрирования меньше первого значения интегрирования, продолжается в течение предварительно определенного числа повторений или более, то второе значение счетчика задается высоким.

[0158] Когда таким способом оценивается то, что второе значение интегрирования меньше первого значения интегрирования, оценивается то, что имеется высокая вероятность того, что трехмерный объект, который обнаружен, представляет собой движущийся объект (другое транспортное средство VX), и увеличивается второе значение счетчика, связанное с уменьшением, так что снижается значение оценки для оценки стационарного объекта. Следовательно, стационарный объект может оцениваться с высокой точностью на основе результатов последовательных наблюдений.

[0159] ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Второй вариант осуществления устройства обнаружения трехмерных объектов настоящего изобретения описывается со ссылкой на фиг. 31-36. Конфигурация обнаружения трехмерных объектов с использованием информации формы разностного сигнала, проиллюстрированная на фиг. 4-12, и конфигурация обнаружения трехмерных объектов с использованием информации краев, проиллюстрированная на фиг. 13-19, используются совместно с первым вариантом осуществления, описанным выше, когда конкретные описания не предусмотрены, и, следовательно, описание первого варианта осуществления включается в качестве цитаты в данном документе.

[0160] Как проиллюстрировано на фиг. 31, компьютер 30 этого примера имеет модуль 31 преобразования точки обзора, модуль 32 совмещения, первый модуль 33 обнаружения трехмерных объектов, модуль 34 обнаружения размытостей, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев, второй модуль 37 обнаружения трехмерных объектов, модуль 38 оценки трехмерных объектов и контроллер 39. Из них модуль 31 преобразования точки обзора, модуль 34 обнаружения размытостей, модуль 32 совмещения и первый модуль 33 обнаружения трехмерных объектов являются составляющими модулями, связанными с блоком A обнаружения для трехмерных объектов с использованием информации формы разностного сигнала, как описано в первом варианте осуществления выше, и модуль 31 преобразования точки обзора, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и второй модуль 37 обнаружения трехмерных объектов являются составляющими модулями, связанными с блоком B обнаружения для трехмерных объектов с использованием информации краев, как описано в первом варианте осуществления выше. Ниже описываются основные отличия от первого варианта осуществления.

[0161] ОКОНЧАТЕЛЬНАЯ ОЦЕНКА ТРЕХМЕРНОГО ОБЪЕКТА

При обнаружении трехмерного объекта посредством двух модулей 33, 37 обнаружения трехмерных объектов, устройство 1 обнаружения трехмерных объектов этого примера, как проиллюстрировано на фиг. 31, имеет модуль 38 оценки трехмерных объектов для выполнения конечной оценки относительно того, представляет собой объект или нет трехмерный объект, из результатов обнаружения первого модуля 33 обнаружения трехмерных объектов и результатов обнаружения второго модуля 37 обнаружения трехмерных объектов, и контроллер 39 для задания первого порогового значения α первого модуля 33 обнаружения трехмерных объектов и второго порогового значения β второго модуля 37 обнаружения трехмерных объектов в соответствии с состоянием прилипания капель воды на линзе, которое обнаружено посредством модуля 40 обнаружения капель воды. Способ обнаружения для капель воды модуля 40 обнаружения капель воды является идентичным способу в первом варианте осуществления, проиллюстрированному на фиг. 26 и 27, и, следовательно, его описание опущено.

[0162] В этом примере, камера 10 предоставляется в качестве средства захвата изображений, проиллюстрированного на фиг. 24A, 24B. Как описано выше, хотя линза 11 (или защитный фильтр), которая составляет оптическую систему захвата, включается в камеру 10, поскольку камера монтируется за пределами транспортного средства, капли воды, которые разбрызгиваются от поверхности дороги, или капли дождя зачастую прилипают к линзе 11, которая является внешней поверхностью камеры 10. Когда окружающая среда является яркой, например, днем, капли воды, которые прилипли к линзе 11, не имеют существенного влияния на обнаружение трехмерного объекта, поскольку граничные края капель воды трудно извлекать, даже когда выполняется извлечение краев из захваченного изображения. Тем не менее, когда окружающая среда является темной, к примеру, ночью, границы капли воды извлекаются в качестве информации краев, когда выполняется извлечение краев для захваченного изображения, и могут быть ошибочно обнаружены в качестве трехмерных объектов.

[0163] По этой причине, в этом примере обнаруживается то, прилипла или нет капля воды к линзе 11, и когда прилип предварительно определенный объем капель воды или более, обнаружение трехмерных объектов останавливается, чтобы предотвращать ошибочное обнаружение трехмерного объекта. В частности, контроллер 39 задает, по меньшей мере, одно из первого порогового значения α первого модуля 33 обнаружения трехмерных объектов и второго порогового значения β второго модуля 37 обнаружения трехмерных объектов относительно выше предыдущего обычного заданного значения. В силу этого снижается потенциал для оценки в качестве трехмерного объекта посредством модуля 38 оценки трехмерных объектов, предотвращая ошибочное обнаружение капель воды в качестве трехмерных объектов.

[0164] Когда капли воды, прилипшие к линзе 11, обнаружены посредством модуля 40 обнаружения капель воды, чтобы останавливать оценку того, что трехмерный объект, обнаруженный посредством первого модуля 33 обнаружения трехмерных объектов или второго модуля 37 обнаружения трехмерных объектов, представляет собой другое транспортное средство VX, контроллер 39 в этом примере выводит управляющие инструкции для управления модулями (включающими в себя контроллер 39), составляющими компьютер 30, с тем чтобы останавливать оценку того, что изображение, соответствующее каплям воды, которые обнаружены, представляет собой другое транспортное средство VX, присутствующее в областях A1, A2 обнаружения. Ниже описывается конкретный способ для остановки оценки того, что трехмерный объект, обнаруженный посредством первого модуля 33 обнаружения трехмерных объектов или второго модуля 37 обнаружения трехмерных объектов, представляет собой другое транспортное средство VX.

[0165] В случае если первый модуль 33 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации формы разностного сигнала обнаруживает трехмерный объект, когда информация формы разностного сигнала равна или превышает предварительно определенное первое пороговое значение α, если модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления, чтобы увеличивать первое пороговое значение α таким образом, что трехмерные объекты не обнаруживаются так легко, и команда управления выводится в первый модуль 33 обнаружения трехмерных объектов.

[0166] Аналогично, в случае если первый модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, когда информация формы разностного сигнала равна или превышает предварительно определенное первое пороговое значение α, если модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 должен выдавать вывод для того, чтобы снижать значение, при котором подсчитывается число пикселов, демонстрирующих предварительно определенную разность, в разностном изображении, полученном из изображений "с высоты птичьего полета", и формируется частотное распределение. Команда управления выводится в первый модуль 33 обнаружения трехмерных объектов.

[0167] Помимо этого, в случае если первый модуль 33 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации формы разностного сигнала извлекает, в качестве числа пикселов, демонстрирующих предварительно определенную разность, число пикселов, демонстрирующих пиксельные значения, которые равны или превышают пороговое значение p, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх порогового значения p таким образом, что трехмерные объекты легко не обнаруживаются. Команда управления выводится в первый модуль 33 обнаружения трехмерных объектов.

[0168] Аналогично, в случае если первый модуль 33 обнаружения трехмерных объектов извлекает, в качестве числа пикселов, демонстрирующих предварительно определенную разность, число пикселов, демонстрирующих пиксельные значения, которые равны или превышают пороговое значение p, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для вывода отрегулированного вниз числа пикселов, которые извлекаются в разностном изображении вдоль направления сплющивания трехмерного объекта при преобразовании точки обзора изображения вида "с высоты птичьего полета". Команда управления выводится в первый модуль 33 обнаружения трехмерных объектов.

[0169] С другой стороны, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев извлекает линии краев на основе пикселов, демонстрирующих яркостные различия в предварительно определенное пороговое значение t или более, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх предварительно определенного порогового значения t таким образом, что трехмерные объекты легко не обнаруживаются. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0170] Аналогично, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев извлекает линии краев на основе пикселов, демонстрирующих яркостные различия в предварительно определенное пороговое значение t или более, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для вывода отрегулированного вниз значения пиксельной яркости. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0171] Аналогично, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев обнаруживает трехмерный объект на основе линий краев, имеющих длины, которые равны или превышают пороговое значение θ в информации краев, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх порогового значения θ таким образом, что трехмерные объекты легко не обнаруживаются. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0172] Аналогично, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев обнаруживает трехмерный объект на основе линий краев, имеющих длины, которые равны или превышают пороговое значение θ в информации краев, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для вывода отрегулированного вниз значения длины линии края в обнаруженной информации краев. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0173] Аналогично, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, которые равны или превышают предварительно определенную длину, содержащуюся в информации краев, например, линий краев, которые имеют длины, которые равны или превышают пороговое значение θ, второе пороговое значение β, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх второго порогового значения β таким образом, что трехмерные объекты легко не обнаруживаются. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0174] Аналогично, в случае если второй модуль 37 обнаружения трехмерных объектов для обнаружения трехмерных объектов с использованием информации краев обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, которые равны или превышают предварительно определенную длину, содержащуюся в информации краев, например, линий краев, которые имеют длины, которые равны или превышают пороговое значение θ, второе пороговое значение β, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для вывода отрегулированного вниз числа обнаруженных линий краев, которые равны или превышают предварительно определенную длину. Команда управления выводится во второй модуль 37 обнаружения трехмерных объектов.

[0175] Помимо этого, в случае если скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, которая задана заранее, и модуль 38 оценки трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх предварительно определенной скорости, которая служит в качестве нижнего предела для оценки того, что трехмерный объект представляет собой другое транспортное средство, таким образом, что трехмерный объект легко не обнаруживается. Команда управления выводится в модуль 38 оценки трехмерных объектов.

[0176] Аналогично, в случае если скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, которая задана заранее, и модуль 38 оценки трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для вывода отрегулированной вниз скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая служит в качестве нижнего предела для оценки того, что трехмерный объект представляет собой другое транспортное средство. Команда управления выводится в модуль 38 оценки трехмерных объектов.

[0177] Помимо этого, в случае если скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, которая задана заранее, и модуль 38 оценки трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вниз предварительно определенной скорости, которая служит в качестве верхнего предела для оценки того, что трехмерный объект представляет собой другое транспортное средство. Команда управления выводится в модуль 38 оценки трехмерных объектов.

[0178] Аналогично, в случае если скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, которая задана заранее, и модуль 38 оценки трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда модуль 40 обнаружения капель воды обнаруживает капли воды, прилипшие к линзе 11, контроллер 39 формирует команду управления для регулирования вверх скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая служит в качестве верхнего предела для оценки того, что трехмерный объект представляет собой другое транспортное средство. Команда управления выводится в модуль 38 оценки трехмерных объектов.

[0179] Термин "скорость движения", используемый в данном документе, включает в себя относительную скорость трехмерного объекта относительно рассматриваемого транспортного средства, а также абсолютную скорость трехмерного объекта. Абсолютная скорость трехмерного объекта может быть вычислена из относительной скорости трехмерного объекта, или относительная скорость трехмерного объекта может быть вычислена из абсолютной скорости трехмерного объекта.

[0180] Контроллер 39 может частично маскировать области A1, A2 обнаружения либо может регулировать пороговые значения или выходные значения, используемые для обнаружения или оценки, с тем чтобы останавливать вывод результата конечной оценки модуля 38 оценки трехмерных объектов касательно того, что трехмерный объект представляет собой другое транспортное средство VX, или результата обнаружения первого модуля 33 обнаружения трехмерных объектов или второго модуля 37 обнаружения трехмерных объектов касательно того, что трехмерный объект присутствует.

[0181] В частности, контроллер 39 обозначает информацию позиции (информацию координат изображения) участка областей A1, A2 обнаружения, соответствующих позициям капель воды, прилипших к линзе 11, и формирует команду управления, посредством которой процесс обнаружения для трехмерных объектов в маскированной области или оценка в отношении того, представляет или нет трехмерный объект собой другое транспортное средство VX, не выполняется, и команду управления для вывода результатов, указывающих то, что трехмерный объект не обнаруживается в маскированной области, или то, что трехмерный объект в маскированной области не представляет собой другое транспортное средство VX. Команды управления отправляются в первый модуль 33 обнаружения трехмерных объектов, второй модуль 37 обнаружения трехмерных объектов или модуль 38 оценки трехмерных объектов. Команды управления для вывода результатов, указывающих то, что трехмерный объект не обнаруживается в маскированной области, или то, что трехмерный объект в маскированной области не представляет собой другое транспортное средство VX, включают в себя команды для обозначения данных изображений в маскированной области и команды для изменения соответствующих пороговых значений или выходных значений, как описано выше.

[0182] Таким образом, контроллер 39 формирует команды управления для изменения пороговых значений и выходных значений, команды управления для прекращения процесса обнаружения трехмерных объектов или оценки того, представляет или нет трехмерный объект собой другое транспортное средство VX, и команды управления для вывода результатов, указывающих то, что трехмерный объект не обнаруживается, или то, что трехмерный объект не представляет собой другое транспортное средство VX, и также отправляет команды управления в первый модуль 33 обнаружения трехмерных объектов, второй модуль 37 обнаружения трехмерных объектов или модуль 38 оценки трехмерных объектов.

[0183] Первый модуль 33 обнаружения трехмерных объектов или второй модуль 37 обнаружения трехмерных объектов в этом примере, в соответствии с командами управления из контроллера 39, исключает часть информации изображений, информации формы разностного сигнала и информации краев из информации, которая должна быть обработана, регулирует пороговые значения или выходные значения и выполняет обнаружение трехмерных объектов согласно строгим критериям. Выполняется процесс, за счет которого выводятся результаты обнаружения, указывающие то, что трехмерный объект не обнаруживается, либо прекращается непосредственно процесс обнаружения трехмерных объектов. Аналогично, модуль 38 оценки трехмерных объектов, в соответствии с командами управления из контроллера 39, регулирует пороговые значения или выходные значения и оценивает то, представляет или нет трехмерный объект, который обнаружен согласно строгим критериям, собой другое транспортное средство VX, и выводится оценка, указывающая то, что трехмерный объект не представляет собой другое транспортное средство VX, либо прекращается непосредственно процесс оценки трехмерных объектов. Процесс управления, связанный с оценкой трехмерных объектов, описанный выше, выполняется, когда модуль 40 обнаружения капель воды обнаруживает состояние, в котором капли воды прилипли к линзе 11, принимающей изображение областей A1, A2 обнаружения.

[0184] Далее описывается пример остановки обнаружения трехмерных объектов посредством контроллера 39 этого примера. В примере, описанном ниже, первое пороговое значение α первого модуля 33 обнаружения трехмерных объектов и второе пороговое значение β второго модуля 37 обнаружения трехмерных объектов задаются в соответствии с состоянием прилипания капель воды, обнаруженным посредством модуля 40 обнаружения капель воды. Более конкретно, по меньшей мере, одно из первого порогового значения α и второго порогового значения β задается большим по мере того как возрастает число капель воды, обнаруженных посредством модуля 40 обнаружения капель воды. Число капель воды в этом случае может быть числом по всей линзе, соответствующей всему захваченному изображению, или числом, прилипшим к областям линзы, соответствующим областям, указываемым в качестве областей A1, A2 обнаружения.

[0185] Фиг. 33-36 являются картами управления, иллюстрирующими пример задания первого порогового значения α и второго порогового значения β относительно числа прилипших капель воды. Фиг. 33 является примером, в котором первое пороговое значение α или второе пороговое значение β увеличиваются пошагово по мере того, как возрастает число прилипших капель воды. Аналогично, фиг. 34 является примером, в котором первое пороговое значение α или второе пороговое значение β увеличиваются пошагово по мере того, как возрастает число прилипших капель воды, но в примере задается гистерезис, с тем чтобы предотвращать неустойчивость управления. Фиг. 35 является примером, в котором первое пороговое значение α или второе пороговое значение β увеличиваются пропорционально по мере того, как возрастает число прилипших капель воды. Аналогично, фиг. 36 является примером, в котором первое пороговое значение α или второе пороговое значение β увеличивается пропорционально по мере того, как возрастает число прилипших капель воды, но задается гистерезис, с тем чтобы предотвращать неустойчивость управления.

[0186] Работа модуля 38 оценки трехмерных объектов и контроллера 39 описывается ниже со ссылкой на фиг. 32. Во-первых, на этапе S41, состояние прилипания капель воды (число капель воды) на линзе 11 обнаруживается посредством модуля 40 обнаружения капель воды, и результат выводится в контроллер 39. На этапе S42, контроллер 39 вычисляет первое пороговое значение α и второе пороговое значение β с использованием любой из карт управления фиг. 33-36, сохраненных заранее, и обнаруженного состояния прилипания капель воды и выводит результат в первый модуль 33 обнаружения трехмерных объектов и второй модуль 37 обнаружения трехмерных объектов.

[0187] На этапе S43, выполняется обнаружение трехмерного объекта посредством информации формы разностного сигнала посредством процедуры, описанной выше. На этапе S44, выполняется обнаружение трехмерного объекта с использованием информации краев посредством процедуры, описанной выше. При обнаружении трехмерного объекта с использованием информации краев и обнаружении трехмерного объекта с использованием информации разности, первое пороговое значение α и второе пороговое значение β, соответственно, задаются в первом модуле 33 обнаружения трехмерных объектов и во втором модуле 37 обнаружения трехмерных объектов в соответствии с состоянием прилипания капель воды.

[0188] На этапе S45, выполняется оценка относительно того, выполнено или нет обнаружение трехмерного объекта на этапе S43, и того, выполнено или нет обнаружение трехмерного объекта на этапе S44, и если обнаружение трехмерного объекта выполнено на этапе S43 или S44, процесс переходит к этапу S46, и выполняется конечная оценка трехмерного объекта. Если трехмерный объект не обнаруживается на этапе S43 или S44, то процесс переходит к этапу S47, и выполняется конечная оценка того, что нет трехмерного объекта.

[0189] Как описано выше, согласно устройству 1 обнаружения трехмерных объектов этого примера, когда капли воды прилипли к линзе 11 камеры 10, существует потенциал для ошибочного обнаружения капель воды в качестве трехмерных объектов вследствие влияния, например, уличных светильников или передних фар, когда окрестность обнаружения является темной, например, ночью. Тем не менее, обнаружение трехмерных объектов останавливается по мере того, как возрастает число прилипших капель воды, и, следовательно, можно предотвращать ошибочное обнаружение трехмерных объектов и капель воды.

[0190] В этой связи, при формировании информации формы разностного сигнала посредством модуля 32 совмещения и первого модуля 33 обнаружения трехмерных объектов на фиг. 31, изображение вида "с высоты птичьего полета" в текущий момент времени и изображение вида "с высоты птичьего полета" за один момент времени до этого совмещены при одновременном сдвиге позиции изображения вида "с высоты птичьего полета" на проезжаемое расстояние в фактическом пространстве на основе скорости движения рассматриваемого транспортного средства, как показано на фиг. 4 во втором варианте осуществления, описанном выше, определено разностное изображение в этом состоянии, и из него сформирована информация формы разностного сигнала. Тем не менее, эта процедура может быть выполнена посредством другого способа, проиллюстрированного на фиг. 28-30, аналогично первому варианту осуществления, описанному выше.

[0191] Устройство 1 обнаружения трехмерных объектов этого примера, имеющее структуру и способ работы, описанные выше, предоставляет следующие преимущества.

(1) Устройство 1 обнаружения трехмерных объектов этого примера задает произвольную точку концентрации внимания в изображении, задает множество внутренних опорных точек внутри мнимой окружности с предварительно определенным радиусом, центрированным на точке концентрации внимания, и задает множество внешних опорных точек, соответствующих внутренним опорным точкам, за пределами мнимой окружности. Информация краев обнаруживается между этими внутренними опорными точками и внешними опорными точками, и посредством оценки степени округлости информации краев обнаруживаются капли воды, прилипшие к линзе 11 камеры 10, в силу этого обеспечивая возможность точного обнаружения капель воды.

[0192] (2) Когда капли воды прилипли к линзе 11 камеры 10, и окружение обнаружения является темным, например, ночью, устройство 1 обнаружения трехмерных объектов в этом примере может ошибочно обнаруживать капли воды в качестве трехмерных объектов вследствие влияния, например, уличных светильников или передних фар. Тем не менее, устройство 41 удаления капель воды работает в соответствии с состоянием прилипания капель воды, чтобы удалять капли воды, в силу этого позволяя предотвращать ошибочное обнаружение трехмерных объектов и капель воды.

[0193] (3) Когда капли воды прилипли к линзе 11 камеры 10, и окружение обнаружения является темным, например, ночью, устройство 1 обнаружения трехмерных объектов в этом примере может ошибочно обнаруживать капли воды в качестве трехмерных объектов вследствие влияния, например, уличных светильников или передних фар. Тем не менее, оценка того, что трехмерный объект представляет собой другое транспортное средство, останавливается в соответствии с состоянием прилипания капель воды, в силу этого позволяя предотвращать ошибочное обнаружение трехмерных объектов и капель воды.

[0194] Камера 10, описанная выше, соответствует средству захвата изображений в настоящем изобретении, линза 11, описанная выше, соответствует фотографической оптической системе в настоящем изобретении, модуль 31 преобразования точки обзора, описанный выше, соответствует средству преобразования изображений в настоящем изобретении, модуль 32 совмещения и первый модуль 33 обнаружения трехмерных объектов, описанные выше, соответствуют первому средству обнаружения трехмерных объектов в настоящем изобретении, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и второй модуль 37 обнаружения трехмерных объектов, описанные выше, соответствуют второму средству обнаружения трехмерных объектов в настоящем изобретении, модуль 38 оценки трехмерных объектов, описанный выше, соответствует средству оценки трехмерных объектов в настоящем изобретении, модуль 40 обнаружения капель воды, описанный выше, соответствует средству обнаружения капель воды в настоящем изобретении, контроллер 39, описанный выше, соответствует средству управления в настоящем изобретении, и устройство 41 удаления капель воды соответствует средству удаления капель воды.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0195] 1 - устройство обнаружения проезжаемого расстояния

10 - камера

11 - линза

20 - датчик скорости

30 - компьютер

31 - модуль преобразования точки обзора

32 - модуль совмещения

33 - первый модуль обнаружения трехмерных объектов

34 - модуль обнаружения размытостей

35 - модуль вычисления яркостного различия

36 - модуль обнаружения краев

37 - второй модуль обнаружения трехмерных объектов

38 - модуль оценки трехмерных объектов

39 - модуль управления

40 - модуль обнаружения капель воды

41 - устройство удаления капель воды

a - угол обзора

A1, A2 - область обнаружения

CP - точка пересечения

DP - разностные пикселы

DWt, DWt' - форма разностного сигнала

DWt1-DWm, DWm+k-DWtn - малая область

L1, L2 - линия пересечения с землей

La, Lb - линия в направлении, в котором сплющивается трехмерный объект

P - захваченное изображение

PBt - изображение вида "с высоты птичьего полета"

PDt - разностное изображение

MP - изображение с маской

S - размытость

SP - изображение с размытостью

SBt - изображение вида "с высоты птичьего полета" с размытостью

V1, V2 - рассматриваемое транспортное средство

V3, V4, VX - другое транспортное средство

Изобретение относится к области обнаружения трехмерных объектов и капель воды. Технический результат – обеспечение обнаружения капель воды и повышение точности обнаружения трехмерных объектов. Устройство обнаружения капель воды содержит: средство захвата изображений, имеющее фотографическую оптическую систему, для захвата изображения предварительно определенной области; и средство обнаружения капель воды для задания произвольной точки концентрации внимания в изображении, полученном средством захвата изображений, причем множество первых опорных точек внутри мнимой окружности с предварительно определенным радиусом имеют точку концентрации внимания в качестве своего центра, и множество вторых опорных точек соответствуют первым опорным точкам за пределами мнимой окружности, обнаружения информации краев между первыми опорными точками и вторыми опорными точками и оценки степени округлости линий краев из информации краев, посредством этого обнаруживая каплю воды, прилипшую к фотографической оптической системе. 3 н. и 22 з.п. ф-лы, 37 ил.

1. Устройство обнаружения капель воды, содержащее:

средство захвата изображений для захвата изображения предварительно определенной области, причем средство захвата изображений имеет фотографическую оптическую систему; и

средство обнаружения капель воды для задания произвольной точки концентрации внимания в изображении, полученном средством захвата изображений, причем множество первых опорных точек внутри мнимой окружности с предварительно определенным радиусом имеют точку концентрации внимания в качестве своего центра, и множество вторых опорных точек соответствуют первым опорным точкам за пределами мнимой окружности, обнаружения информации краев между первыми опорными точками и вторыми опорными точками и оценки степени округлости линий краев из информации краев, посредством этого обнаруживая каплю воды, прилипшую к фотографической оптической системе.

2. Устройство обнаружения капель воды по п. 1, в котором средство обнаружения капель воды задает в качестве первой опорной точки по меньшей мере одно из верхней центральной части, верхней левой части, верхней правой части, нижней левой части и нижней правой части внутри мнимой окружности.

3. Устройство обнаружения капель воды по п. 1 или 2, в котором средство обнаружения капель воды оценивает то, что капля воды прилипла, когда отношение, в котором линии краев обнаруживаются между множеством первых опорных точек и множеством вторых опорных точек, равно или превышает предварительно определенное отношение.

4. Устройство обнаружения трехмерных объектов, установленное в транспортном средстве, содержащее:

средство захвата изображений для захвата изображения предварительно определенной области, причем средство захвата изображений имеет фотографическую оптическую систему;

средство преобразования изображений для преобразования захваченного изображения, полученного средством захвата изображений, в изображение вида "с высоты птичьего полета", которое представляет собой вид с точки обзора воображаемой камеры, которая смотрит сверху вниз;

средство обнаружения капель воды для задания произвольной точки концентрации внимания в изображении, полученном средством захвата изображений, причем множество первых опорных точек внутри мнимой окружности с предварительно определенным радиусом имеют точку концентрации внимания в качестве своего центра, и множество вторых опорных точек соответствуют первым опорным точкам за пределами мнимой окружности, обнаружения информации краев между первыми опорными точками и вторыми опорными точками и оценки степени округлости линий краев из информации краев, посредством этого обнаруживая каплю воды, прилипшую к фотографической оптической системе;

средство обнаружения трехмерных объектов для обнаружения информации относительно распределения пикселов в изображении вида "с высоты птичьего полета", полученном средством преобразования изображений, для которого яркостное различие равно или превышает предварительно определенное первое пороговое значение в направлении, в котором сплющивается трехмерный объект при преобразовании точки обзора в изображение вида "с высоты птичьего полета", и когда степень распределения пикселов равна или превышает предварительно определенное второе пороговое значение в направлении, в котором сплющивается трехмерный объект, обнаружения трехмерного объекта на основе данных распределения пикселов;

средство оценки трехмерных объектов для оценки того, представляет или нет трехмерный объект в области обнаружения, который обнаружен средством обнаружения трехмерных объектов, собой другое транспортное средство; и

средство управления для управления транспортным средством в соответствии с состоянием прилипания капель воды в области обнаружения, обнаруженным средством обнаружения капель воды.

5. Устройство обнаружения трехмерных объектов по п. 4,

дополнительно содержащее средство удаления капель воды для удаления капель воды, которые прилипли к фотографической оптической системе,

причем средство управления управляет средством удаления капель воды в соответствии с состоянием прилипания капель воды в области обнаружения, обнаруженным средством обнаружения капель воды.

6. Устройство обнаружения трехмерных объектов по п. 5, в котором средство управления задает большее время работы для средства удаления капель воды, по мере того как возрастает число капель воды, обнаруженных средством обнаружения капель воды.

7. Устройство обнаружения трехмерных объектов по п. 5 или 6, в котором средство управления приводит в действие средство удаления капель воды, когда капли воды обнаруживаются в предварительно определенной области в изображении.

8. Устройство обнаружения трехмерных объектов по п. 5, в котором средство управления приводит в действие средство удаления капель воды, когда яркость окружающей среды равна или меньше предварительно определенного значения.

9. Устройство обнаружения трехмерных объектов по п. 4, в котором средство управления запрещает обнаружение трехмерного объекта средством обнаружения трехмерных объектов или запрещает оценку средством оценки трехмерных объектов того, что трехмерный объект представляет собой другое транспортное средство в соответствии с состоянием прилипания капель воды, обнаруженным средством обнаружения капель воды.

10. Устройство обнаружения трехмерных объектов по п. 4, в котором средство обнаружения капель воды оценивает то, что капля воды прилипла, когда отношение, в котором линии краев обнаруживаются между множеством первых опорных точек и множеством вторых опорных точек, равно или превышает предварительно определенное отношение, и

средство управления увеличивает время обнаружения средства обнаружения трехмерных объектов на большее соответственно относительно увеличенной степени округлости, обнаруженной средством обнаружения капель воды.

11. Устройство обнаружения трехмерных объектов по п. 4, в котором:

средство обнаружения трехмерных объектов:

содержит первый модуль обнаружения трехмерных объектов для совмещения с точки обзора "с высоты птичьего полета" позиций изображений вида "с высоты птичьего полета" в разные моменты времени, полученных средством преобразования изображений; подсчета числа пикселов, демонстрирующих предварительно определенную разность в предварительно установленной области обнаружения в предварительно определенной области в разностном изображении совмещенных изображений вида "с высоты птичьего полета"; формирования частотного распределения, чтобы формировать информацию формы разностного сигнала; и обнаружения трехмерного объекта на основе информации формы разностного сигнала; и

обнаруживает трехмерный объект, когда информация формы разностного сигнала равна или превышает предварительно определенное первое пороговое значение α; и

средство управления:

формирует команду управления для регулирования вверх первого порогового значения α таким образом, что трехмерный объект легко не обнаруживается, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления в первый модуль обнаружения трехмерных объектов.

12. Устройство обнаружения трехмерных объектов по п. 11, в котором:

первый модуль обнаружения трехмерных объектов обнаруживает трехмерный объект, когда информация формы разностного сигнала равна или превышает предварительно определенное первое пороговое значение α, и

средство управления формирует команду управления, чтобы уменьшать значение, полученное посредством подсчета числа пикселов, демонстрирующих предварительно определенную разность в разностном изображении изображений вида "с высоты птичьего полета", и формирования частотного распределения, когда капли воды обнаружены средством обнаружения капель воды; и выводит команду в первый модуль обнаружения трехмерных объектов.

13. Устройство обнаружения трехмерных объектов по п. 11 или 12, в котором первый модуль обнаружения трехмерных объектов извлекает число пикселов, демонстрирующих пиксельные значения, которые равны или превышают пороговое значение p, в качестве числа пикселов, демонстрирующих предварительно определенную разность, и

средство управления формирует команду управления для регулирования вверх порогового значения p таким образом, что трехмерный объект легко не обнаруживается, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления в первый модуль обнаружения трехмерных объектов.

14. Устройство обнаружения трехмерных объектов по п. 11, в котором:

первый модуль обнаружения трехмерных объектов извлекает число пикселов, демонстрирующих пиксельные значения, которые равны или превышают пороговое значение p, в качестве числа пикселов, демонстрирующих предварительно определенную разность, и

средство управления формирует команду управления для вывода отрегулированного вниз числа пикселов, которые извлекаются в разностном изображении вдоль направления, в котором сплющивается трехмерный объект при преобразовании точки обзора изображения вида "с высоты птичьего полета", когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления в первый модуль обнаружения трехмерных объектов.

15. Устройство обнаружения трехмерных объектов по п. 4, в котором средство обнаружения трехмерных объектов:

содержит второй модуль обнаружения трехмерных объектов для обнаружения информации краев в предварительно установленной области обнаружения в предварительно определенной области из изображения вида "с высоты птичьего полета", полученного средством преобразования изображений, и обнаружения трехмерного объекта на основе информации краев, и

извлекает линии краев на основе пикселов, демонстрирующих яркостное различие, которое равно или превышает предварительно определенное пороговое значение t; и

средство управления формирует команду управления для регулирования вверх предварительно определенного порогового значения t таким образом, что трехмерный объект легко не обнаруживается, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

16. Устройство обнаружения трехмерных объектов по п. 15, в котором:

второй модуль обнаружения трехмерных объектов извлекает линии краев на основе пикселов, демонстрирующих яркостное различие, которое равно или превышает предварительно определенное пороговое значение t; и

средство управления формирует команду управления, которая уменьшает значение яркости пикселов, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

17. Устройство обнаружения трехмерных объектов по п. 15 или 16, в котором:

второй модуль обнаружения трехмерных объектов обнаруживает трехмерный объект на основе линий краев, имеющих длину, равную или превышающую пороговое значение θ, содержащееся в информации краев, и

средство управления формирует команду управления для регулирования вверх порогового значения θ таким образом, что трехмерный объект легко не обнаруживается, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

18. Устройство обнаружения трехмерных объектов по п. 15, в котором:

второй модуль обнаружения трехмерных объектов обнаруживает трехмерный объект на основе линий краев, имеющих длину, равную или превышающую пороговое значение θ, содержащееся в информации краев, и

средство управления формирует команду управления для вывода отрегулированного вниз значения для длины краев, содержащихся в обнаруженной информации краев, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

19. Устройство обнаружения трехмерных объектов по п. 15, в котором:

второй модуль обнаружения трехмерных объектов обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, которые равны или превышают предварительно определенную длину, содержащуюся в информации краев, второе пороговое значение β, и

средство управления формирует команду управления для регулирования вверх второго порогового значения β таким образом, что трехмерный объект легко не обнаруживается, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

20. Устройство обнаружения трехмерных объектов по п. 15, в котором:

второй модуль обнаружения трехмерных объектов обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, которые равны или превышают предварительно определенную длину, содержащуюся в информации краев, второе пороговое значение β, и

средство управления формирует команду управления для вывода отрегулированного вниз числа обнаруженных линий краев, которые равны или превышают предварительно определенную длину, когда капли воды обнаружены средством обнаружения капель воды, и выводит команду управления во второй модуль обнаружения трехмерных объектов.

21. Устройство обнаружения трехмерных объектов по п. 4, в котором:

средство управления оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда капли воды обнаружены в предварительно определенной области в изображении.

22. Устройство обнаружения трехмерных объектов по п. 4, в котором:

средство управления увеличивает степень остановки оценки того, что трехмерный объект представляет собой другое транспортное средство в соответствии с увеличением числа капель воды, обнаруженных средством обнаружения капель воды.

23. Устройство обнаружения трехмерных объектов по п. 4, в котором:

средство управления останавливает оценку того, что трехмерный объект представляет собой другое транспортное средство, когда яркость окружающей среды равна или меньше предварительно определенного значения.

24. Устройство обнаружения трехмерных объектов по п. 4, в котором

средство оценки трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство, когда скорость движения трехмерного объекта, который обнаружен, равна или превышает предварительно установленное предварительно определенное значение,

средство управления, когда капли воды обнаружены средством обнаружения капель воды, выполняет по меньшей мере одно из следующего:

a) формирует команду управления для увеличения предварительно определенной скорости, которая служит в качестве нижнего предела, когда выполняется оценка того, что трехмерный объект представляет собой другое транспортное средство, и выводит команду управления в средство оценки трехмерных объектов,

b) формирует команду управления для вывода отрегулированной вниз скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая служит в качестве нижнего предела, когда выполняется оценка того, что трехмерный объект представляет собой другое транспортное средство, и выводит команду управления в средство оценки трехмерных объектов,

c) формирует команду управления для регулирования вниз предварительно определенной скорости, которая служит в качестве верхнего предела, когда выполняется оценка того, что трехмерный объект представляет собой другое транспортное средство, и выводит команду управления в средство оценки трехмерных объектов, и

d) формирует команду управления для регулирования вверх скорости движения трехмерного объекта, которая сравнивается с предварительно определенной скоростью, которая служит в качестве верхнего предела, когда выполняется оценка того, что трехмерный объект представляет собой другое транспортное средство, и выводит команду управления в средство оценки трехмерных объектов.

25. Способ обнаружения капель воды для обнаружения капель воды, прилипших к фотографической оптической системе средства захвата изображений, содержащего фотографическую оптическую систему, причем упомянутый способ обнаружения капель воды содержит этапы, на которых:

задают произвольную точку концентрации внимания в захваченном изображении, которое получено средством захвата изображений, причем множество первых опорных точек внутри мнимой окружности с предварительно определенным радиусом имеют точку концентрации внимания в качестве своего центра, и множество вторых опорных точек соответствуют первым опорным точкам за пределами мнимой окружности,

обнаруживают информацию краев между первыми опорными точками и вторыми опорными точками, и

оценивают то, что капля воды прилипла в местоположении, соответствующем мнимой окружности, когда линии краев из информации краев удовлетворяют предварительно определенному условию.