УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ И СПОСОБ ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ Российский патент 2015 года по МПК H04N7/18 G08G1/16 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов и к способу обнаружения трехмерных объектов. Настоящая заявка испрашивает приоритет японской заявки на патент 2012-166517, поданной 27 июля 2012 года, содержимое которой включается в данный документ по ссылке и становится частью раскрытия настоящей заявки в указанных государствах, которые признают включение документа по ссылке.

УРОВЕНЬ ТЕХНИКИ

[0002] В традиционно известной технологии, два захваченных изображения, захваченные в разные моменты времени, преобразуются в изображения вида "с высоты птичьего полета", и трехмерный объект обнаруживается на основе разностей между двумя преобразованными изображениями вида "с высоты птичьего полета" (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская заявка на патент №2008-227646

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] При обнаружении трехмерных объектов, присутствующих в смежных полосах движения, как находящихся в смежной полосе движения транспортных средств на основе захваченных изображений, захваченных посредством камеры, возникают случаи, в которых вследствие низкой яркости окружающей среды затруднительно обнаруживать находящиеся в смежной полосе движения транспортные средства и другие трехмерные объекты. В частности, в случаях, в которых грязь или другое постороннее вещество осело на линзе камеры, возможно то, что очертание грязи или другого постороннего вещества, осевшего на линзе, является очень заметным вследствие окружающего светового окружения, и что грязь или другое постороннее вещество, осевшее на линзе, посредством этого некорректно обнаруживается как находящееся в смежной полосе движения транспортное средство, затрудняя обнаружение находящихся в смежной полосе движения транспортных средств и других таких трехмерных объектов.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, заключается в том, чтобы предоставлять устройство обнаружения трехмерных объектов, которое эффективно предотвращает ошибочное обнаружение находящихся в смежной полосе движения транспортных средств в случаях, в которых грязь или другое постороннее вещество осело на линзе.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0006] Настоящее изобретение разрешает вышеуказанную проблему через структуру, в которой в случае, если не обнаруживается источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства, сравниваются скорость движения обнаруженного трехмерного объекта и скорость движения рассматриваемого транспортного средства, и в случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, либо в случае если разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства равна или меньше предписанного значения, останавливается оценка трехмерного объекта как находящегося в смежной полосе движения транспортного средства.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0007] Согласно настоящему изобретению, в случае если не обнаруживается источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства, сравниваются скорость движения обнаруженного трехмерного объекта и скорость движения рассматриваемого транспортного средства, и в случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, либо в случае если разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства равна или меньше предписанного значения, останавливается оценка трехмерного объекта как находящегося в смежной полосе движения транспортного средства, посредством чего, даже когда грязь или другое постороннее вещество осело на линзе, может эффективно предотвращаться ошибочное обнаружение такого постороннего вещества как находящегося в смежной полосе движения транспортного средства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является схематичным видом транспортного средства, в котором смонтировано устройство обнаружения трехмерных объектов.

Фиг. 2 является видом сверху состояния движения транспортного средства на фиг. 1.

Фиг. 3 является блок-схемой подробностей компьютера.

Фиг. 4 является видом общего представления обработки модуля совмещения, при этом фиг. 4(a) является видом сверху состояния движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

Фиг. 5 является схематичным видом способа, которым форма разностного сигнала формируется посредством модуля обнаружения трехмерных объектов.

Фиг. 6 является видом примера формы разностного сигнала и порогового значения а для обнаружения трехмерного объекта.

Фиг. 7 является видом малых областей, разделенных посредством модуля обнаружения трехмерных объектов.

Фиг. 8 является видом примера гистограммы, получаемой посредством модуля обнаружения трехмерных объектов.

Фиг. 9 является видом взвешивания, используемого посредством модуля обнаружения трехмерных объектов.

Фиг. 10 является видом другого примера гистограммы, получаемой посредством модуля обнаружения трехмерных объектов.

Фиг. 11 является видом, описывающим область обнаружения источников света.

Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно первому варианту осуществления.

Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс модификации пороговых значений согласно первому варианту осуществления.

Фиг. 14 является блок-схемой подробностей компьютера согласно второму варианту осуществления.

Фиг. 15 является видом состояния движения транспортного средства, при этом (а) является видом сверху позиционных взаимосвязей областей обнаружения, а (b) является видом в перспективе позиционных взаимосвязей областей обнаружения в реальном пространстве.

Фиг. 16 является видом работы модуля вычисления яркостного различия согласно второму варианту осуществления, при этом фиг. 16(a) является видом позиционной взаимосвязи между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида "с высоты птичьего полета", а фиг. 16(b) является видом позиционной взаимосвязи между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.

Фиг. 17 является видом подробной работы модуля вычисления яркостного различия согласно второму варианту осуществления, при этом фиг. 17(a) является видом области обнаружения в изображении вида "с высоты птичьего полета", а фиг. 17(b) является видом позиционной взаимосвязи между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида "с высоты птичьего полета".

Фиг. 18 является видом примера изображения, описывающего операцию обнаружения краев.

Фиг. 19 является видом линии края и распределения яркости на линии края, при этом фиг. 19(a) является видом распределения яркости, когда трехмерный объект (находящееся в смежной полосе движения транспортное средство) присутствует в области обнаружения, а фиг. 19(b) является видом распределения яркости, когда трехмерный объект не присутствует в области обнаружения.

Фиг. 20 является блок-схемой последовательности операций, иллюстрирующей способ обнаружения находящихся в смежной полосе движения транспортных средств согласно второму варианту осуществления.

Фиг. 21 является блок-схемой последовательности операций способа, иллюстрирующей процесс модификации пороговых значений согласно второму варианту осуществления.

Фиг. 22 является видом (часть 1), иллюстрирующим способ для обнаружения постороннего вещества.

Фиг. 23 является видом (часть 2), иллюстрирующим способ для обнаружения постороннего вещества.

Предпочтительные варианты осуществления изобретения

[0009] ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ

Фиг. 1 является схематичным видом транспортного средства, в котором смонтировано устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления. Цель устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления состоит в том, чтобы обнаруживать другое транспортное средство (ниже также называется "находящимся в смежной полосе движения транспортным средством V2"), присутствующее в смежной полосе движения, так что возможен контакт, если рассматриваемое транспортное средство V1 должно сменять полосу движения. Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления содержит камеру 10, датчик 20 скорости транспортного средства и компьютер 30, как проиллюстрировано на фиг. 1.

[0010] Камера 10 крепится к рассматриваемому транспортному средству V1 таким образом, что оптическая ось ориентирована под углом 9 вниз от горизонтали в местоположении на высоте h в задней части рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает изображения предварительно определенной области окружения рассматриваемого транспортного средства VI. Датчик 20 скорости транспортного средства обнаруживает скорость движения рассматриваемого транспортного средства V1 и вычисляет скорость транспортного средства из скорости вращения колес, обнаруженной, например, посредством датчика скорости вращения колес, который обнаруживает скорость вращения колеса. Компьютер 30 обнаруживает находящиеся в смежной полосе движения транспортные средства, присутствующие в смежных полосах движения позади рассматриваемого транспортного средства.

[0011] Фиг. 2 является видом сверху состояния движения рассматриваемого транспортного средства V1 на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает изображения сзади транспортного средства под предварительно определенным углом а обзора. В это время, угол а обзора камеры 10 задается равным такому углу обзора, что захватываются изображения полос движения слева и справа (смежных полос движения), в дополнение к изображениям полосы движения, в которой движется рассматриваемое транспортное средство V1. Эта область возможного захвата изображений включает в себя области A1, А2, которые должны быть обнаружены, расположенные сзади рассматриваемого транспортного средства V1 в смежных полосах движения, расположенных рядом слева и справа от полосы движения, по которой движется рассматриваемое транспортное средство V1. В настоящем варианте осуществления, "задняя часть транспортного средства" означает не только область непосредственно позади транспортного средства, но и включает в себя области, лежащие сбоку на задней стороне транспортного средства. Область сзади транспортного средства, в которой захватываются изображения, задается согласно углу обзора камеры 10. В качестве одного примера, если направление непосредственно сзади транспортного средства в продольном направлении транспортного средства указывается как 0 градусов, область может задаваться с возможностью включать в себя область от 0 до 90 градусов, предпочтительно от 0 до 70 градусов, слева и справа от направления непосредственно сзади транспортного средства.

[0012] Фиг. 3 является блок-схемой подробностей компьютера 30 согласно фиг. 1. Камера 10 и датчик 20 скорости транспортного средства также иллюстрируются на фиг. 3, чтобы четко указывать взаимосвязи соединений.

[0013] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 оценки темноты, модуль 35 обнаружения источников света и модуль 36 модификации пороговых значений. Конфигурация этих модулей описывается ниже.

[0014] Захваченные данные изображений предварительно определенной области, полученные через захват изображений посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и введенные захваченные данные изображений подвергаются преобразованию точки обзора в данные изображений вида "с высоты птичьего полета" состояния вида "с высоты птичьего полета". Состояние вида "с высоты птичьего полета" означает состояние просмотра с точки зрения воображаемой камеры, смотрящей вниз с воздуха, например, вертикально вниз. Это преобразование точки обзора может быть выполнено способом, раскрытым, например, в выложенной японской заявке на патент №2008-219063. Причина преобразования точки обзора захваченных данных изображений в данные изображений вида "с высоты птичьего полета" основана на таком принципе, что через преобразование точки обзора в данные изображений вида "с высоты птичьего полета" перпендикулярные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, а также заключается в том, что этот принцип может быть использован для того, чтобы различать плоские объекты и трехмерные объекты.

[0015] Данные изображений вида "с высоты птичьего полета", полученные через преобразование точки обзора, выполняемое посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и позиции введенных данных изображений вида "с высоты птичьего полета", полученных в разные моменты времени, совмещаются. Фиг. 4 является видом общего представления обработки модуля 32 совмещения, при этом фиг. 4(a) является видом сверху состояния движения рассматриваемого транспортного средства V1, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0016] Предполагается, что как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V1 в текущий момент времени размещается в Р1, при этом рассматриваемое транспортное средство V1 размещается в Р1′ в непосредственно предшествующий момент времени. Кроме того, предполагается, что находящееся в смежной полосе движения транспортное средство V2 размещается в направлении с задней стороны от рассматриваемого транспортного средства V1 и движется параллельно рассматриваемому транспортному средству V1, и что находящееся в смежной полосе движения транспортное средство V2 в текущий момент времени размещается в Р2, при этом находящееся в смежной полосе движения транспортное средство V2 размещается в Р21 в непосредственно предшествующий момент времени. Дополнительно предполагается, что рассматриваемое транспортное средство V1 проезжает расстояние d в течение одного момента времени. Фраза "непосредственно предшествующий момент времени" может означать предыдущий момент времени предварительно установленной длительности (например, один цикл управления), который предшествует текущему моменту времени или предыдущему моменту времени любой длительности.

[0017] В этом состоянии, изображение PBt вида "с высоты птичьего полета" в текущий момент времени выглядит так, как проиллюстрировано на фиг. 4(b). При том, что белые разделительные полосы, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида "с высоты птичьего полета" и являются относительно точными при виде сверху, находящееся в смежной полосе движения транспортное средство V2 (позиция Р2) подвергается сплющиванию. Аналогично, в изображении PBt-1 вида "с высоты птичьего полета" в непосредственно предшествующий момент времени, белые разделительные полосы, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными при виде сверху, тогда как находящееся в смежной полосе движения транспортное средство V2 (позиция Р2′) подвергается сплющиванию. Как описано выше, перпендикулярные края трехмерного объекта (включающие в себя края, которые выступают вверх в трехмерном пространстве от поверхности дороги, отличные от перпендикулярных краев в строгом смысле) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса преобразования точки обзора в данные изображений вида "с высоты птичьего полета", тогда как поскольку плоское изображение на поверхности дороги не включает в себя перпендикулярные края, такое сплющивание не возникает, даже при преобразовании точки обзора.

[0018] Модуль 32 совмещения выполняет совмещение изображений PBt и PBt-1 вида "с высоты птичьего полета", таких как изображения PBt и PBt-1 вида "с высоты птичьего полета", описанные выше, в данных. При этом, модуль 32 совмещения смещает изображение PBt-1 вида "с высоты птичьего полета" в непосредственно предшествующий момент времени, согласуя его по позиции с изображением PBt вида "с высоты птичьего полета" в текущий момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d′. Величина d′ смещения является величиной перемещения в данных изображений вида "с высоты птичьего полета", которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V1, проиллюстрированного на фиг. 4(a), и выбирается на основе сигнала из датчика 20 скорости транспортного средства и длительности от непосредственно предшествующего момента времени до текущего момента времени.

[0019] В настоящем варианте осуществления, модуль 32 совмещения выполняет позиционное совмещение, в виде "с высоты птичьего полета", позиций изображений вида "с высоты птичьего полета", захваченных в разные моменты времени, и получает изображение вида "с высоты птичьего полета" после позиционного совмещения. Этот процесс "позиционного совмещения" может быть проведен со степенью точности согласно типу обнаруживаемой цели и требуемой точности обнаружения. Например, процесс позиционного совмещения может быть строгим процессом, заключающим в себе позиционное совмещение на основе идентичных моментов времени и идентичных позиций, либо менее строгим процессом позиционного совмещения, так что могут выявляться координаты каждого изображения вида "с высоты птичьего полета".

[0020] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида "с высоты птичьего полета" и формирует данные разностного изображения PDt. В настоящем варианте осуществления, чтобы компенсировать варьирования в среде освещения, модуль 32 совмещения извлекает абсолютное значение разности между пикселными значениями в изображениях PBt и PBt-1 вида "с высоты птичьего полета" и задает пикселное значение в разностном изображении PDt равным 1, когда абсолютное значение равно или превышает предварительно определенное разностное пороговое значение th, либо задает пикселное значение в разностном изображении PDt равным 0, когда абсолютное значение меньше предварительно определенного порогового значения th, посредством чего могут формироваться данные разностного изображения PDt, к примеру, данные разностного изображения PDt, проиллюстрированные справа на фиг. 4(b). В настоящем варианте осуществления, возникают случаи, в которых разностное пороговое значение th должно быть модифицировано посредством модуля 36 модификации пороговых значений, поясненного ниже; в случаях, в которых разностное пороговое значение th модифицировано посредством модуля 36 модификации пороговых значений, разностное пороговое значение th, которое модифицировано посредством модуля 36 модификации пороговых значений, используется при обнаружении пикселных значений разностного изображения PDt.

[0021] На основе данных разностного изображения PDt, проиллюстрированных на фиг. 4(b), модуль 33 обнаружения трехмерных объектов формирует форму разностного сигнала. В этом процессе, модуль 33 обнаружения трехмерных объектов также вычисляет проезжаемое расстояние трехмерных объектов в реальном пространстве. При обнаружении трехмерного объекта и вычислении проезжаемого расстояния, модуль 33 обнаружения трехмерных объектов сначала формирует форму разностного сигнала.

[0022] При формировании формы разностного сигнала, модуль 33 обнаружения трехмерных объектов устанавливает область обнаружения (рамку обнаружения) в разностном изображении PDt. Цель устройства 1 обнаружения трехмерных объектов настоящего примера состоит в том, чтобы вычислять проезжаемое расстояние находящегося в смежной полосе транспортного средства, с которым имеется вероятность контакта, если рассматриваемое транспортное средство V1 должно сменять полосу движения. Соответственно, в настоящем примере, прямоугольные области A1, А2 обнаружения (рамки обнаружения) прямоугольной формы устанавливаются с задней стороны рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 2. Такие области A1, А2 обнаружения могут устанавливаться из относительной позиции относительно рассматриваемого транспортного средства V1 или могут устанавливаться на основе позиций белых разделительных полос. При задании областей на основе позиций белых разделительных полос, устройство 1 обнаружения трехмерных объектов может использовать, например, существующую технологию распознавания белых разделительных полос.

[0023] Модуль 33 обнаружения трехмерных объектов распознает границы таких установленных областей A1, А2 обнаружения на стороне рассматриваемого транспортного средства V1 (границ, лежащих вдоль направления движения), в качестве линий L1, L2 контакта с землей, как проиллюстрировано на фиг. 2. В общем, линия контакта с землей означает линию, в которой трехмерный объект контактирует с землей; тем не менее, в настоящем варианте осуществления, линии контакта с землей не являются линиями контакта с землей, а вместо этого заданы способом, описанным выше. В этом случае также, опыт показывает, что разности между линиями контакта с землей согласно настоящему варианту осуществления и линиями контакта с землей, определенными нормальным способом из позиции находящегося в смежной полосе движения транспортного средства V2, не являются очень большими и не приводят к проблемам на практике.

[0024] Фиг. 5 является схематичным видом способа, которым формируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала из участков, соответствующих областям A1, А2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала в направлении сплющивания трехмерного объекта, получающемся в результате преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства описана только область А1 обнаружения, но форма DWt разностного сигнала также формируется для области А2 обнаружения с использованием идентичной процедуры.

[0025] Более конкретно, сначала модуль 33 обнаружения трехмерных объектов задает линию La в направлении, сплющивания трехмерного объекта в данных разностного изображения PDt. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность на линии La. В настоящем варианте осуществления, разностные пикселы DP, указывающие предварительно определенную разность, имеют пикселные значения разностного изображения PDt, представленные посредством 0 или 1, при этом пикселы, указываемые посредством 1, подсчитываются в качестве разностных пикселов DP.

[0026] Модуль 33 обнаружения трехмерных объектов, после подсчета числа разностных пикселов DP, далее определяет точку CP пересечения линии La и линии L1 контакта с землей. Модуль 33 обнаружения трехмерных объектов затем ассоциирует точку CP пересечения и подсчитанное число и, на основе позиции точки CP пересечения, выбирает позицию на горизонтальной оси, т.е. позицию на оси в вертикальном направлении на чертеже справа на фиг. 5; из подсчитанного числа, выбирает позицию на вертикальной оси, т.е. позицию на оси в поперечном направлении на чертеже справа на фиг. 5; и определяет позицию на графике в качестве подсчитанного числа в точке CP пересечения.

[0027] Аналогично, модуль 33 обнаружения трехмерных объектов затем задает линии Lb, Lc, …, в направлении сплющивания трехмерного объекта, подсчитывает число разностных пикселов DP, выбирает позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, выбирает позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позицию на графике. Модуль 33 обнаружения трехмерных объектов повторяет последовательно вышеприведенную процедуру для того, чтобы формировать частотное распределение, посредством этого формируя форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0028] Здесь, разностные пикселы PD в данных разностного изображения PDt являются пикселами, демонстрирующими изменение в изображениях, захваченных в разные моменты времени, другими словами, в местоположениях, в которых, как считается, присутствует трехмерный объект. Соответственно, в местоположениях, в которых присутствует трехмерный объект, число пикселов подсчитывается вдоль направления сплющивания трехмерного объекта, формируя частотное распределение и посредством этого формируя форму DWt разностного сигнала. В частности, поскольку число пикселов подсчитывается вдоль направления сплющивания трехмерного объекта, форма DWt разностного сигнала формируется из информации, связанной с направлением высоты относительно трехмерного объекта.

[0029] Линия La и линия Lb в направлении сплющивания трехмерного объекта перекрывают область А1 обнаружения на разные расстояния, как проиллюстрировано на чертеже слева на фиг. 5. Соответственно, когда предполагается, что область А1 обнаружения заполнена разностными пикселами DP, число разностных пикселов DP больше на линии La, чем на линии Lb. По этой причине, при выборе позиции на вертикальной оси из подсчитанного числа разностных пикселов DP, модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояний перекрытия между линиями La, Lb и областью А1 обнаружения, в направлении сплющивания трехмерного объекта. В качестве конкретного примера, на чертеже слева на фиг. 5, предусмотрено шесть разностных пикселов DP на линии La и пять разностных пикселов DP на линии Lb. Соответственно, когда позиция на вертикальной оси выбирается из подсчитанного числа на фиг. 5, модуль 33 обнаружения трехмерных объектов выполняет нормализацию посредством деления подсчитанного числа на расстояние перекрытия и т.п. Значения формы DWt разностного сигнала, которые соответствуют линиям La, Lb в направлении сплющивания трехмерного объекта, посредством этого задаются практически идентичными, как показано посредством формы DWt разностного сигнала.

[0030] После формирования формы DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов выполняет обнаружение находящихся в смежной полосе движения транспортных средств, присутствующих в смежных полосах движения. Фиг. 6 является видом способа для обнаружения трехмерных объектов посредством модуля 33 обнаружения трехмерных объектов и иллюстрирует пример формы DWt разностного сигнала и порогового значения а для обнаружения трехмерного объекта. Как проиллюстрировано на фиг. 6, модуль 33 обнаружения трехмерных объектов оценивает, равен или превышает либо нет пик сформированной формы DWt разностного сигнала предварительно определенное пороговое значение а, которое соответствует пиковой позиции рассматриваемой формы DWt разностного сигнала, и посредством этого оценивает, присутствует или нет трехмерный объект в областях A1, А2 обнаружения. Затем, в случае если пик формы DWt разностного сигнала меньше предварительно определенного порогового значения α, модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует в областях A1, А2 обнаружения; или в случае, если пик формы DWt разностного сигнала равен или превышает предварительно определенное пороговое значение а, оценивает то, что трехмерный объект присутствует в областях А1, А2 обнаружения.

[0031] Модуль 33 обнаружения трехмерных объектов дополнительно вычисляет скорость движения трехмерного объекта посредством сравнения формы DWt разностного сигнала в текущий момент времени и формы DWt-1 разностного сигнала в непосредственно предшествующий момент времени. Другими словами, модуль 33 обнаружения трехмерных объектов вычисляет скорость движения трехмерного объекта из временного изменения формы DWt разностного сигнала и формы DWt-1 разностного сигнала.

[0032] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество малых областей DWt1-DWtn (где n является любым целым числом, равным 2 или более), как проиллюстрировано на фиг. 7. Фиг. 7 является видом малых областей DWt1-DWtn, которые разделены посредством модуля 33 обнаружения трехмерных объектов. Малые области DWt1-DWtn разделяются с возможностью взаимно перекрываться, как проиллюстрировано, например, на фиг. 7. Например, перекрываются малая область DWt1 и малая область DWt2, и перекрываются малая область DWt2 и малая область DWt3.

[0033] Затем, модуль 33 обнаружения трехмерных объектов определяет величину смещения (величину перемещения в направлении по горизонтальной оси (в вертикальном направлении на фиг. 7) формы разностного сигнала) для каждой из малых областей DWt1-DWtn. Здесь, величина смещения определяется из разности (расстояние я направлении по горизонтальной оси) между формой DWt-1 разностного сигнала в непосредственно предшествующий момент времени и формой DWt разностного сигнала в текущий момент времени. В процессе, после перемещения формы DWt-1 разностного сигнала в непосредственно предшествующий момент времени в направлении по горизонтальной оси для каждой из малых областей DWt1-DWtn, модуль 33 обнаружения трехмерных объектов оценивает позицию (позицию в направлении по горизонтальной оси), в которой минимизируется ошибка относительно формы DWt разностного сигнала в текущий момент времени, и определяет в качестве величины смещения величину перемещения в направлении по горизонтальной оси между исходной позицией формы DWt-1 разностного сигнала и позицией, в которой минимизируется ошибка. Модуль 33 обнаружения трехмерных объектов затем подсчитывает величины смещения определенной для каждой из малых областей DWt1-DWtn, с тем чтобы формировать гистограмму.

[0034] Фиг. 8 является видом примера гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 8, некоторая величина переменности возникает в величине смещения, которая представляет ошибку минимизации проезжаемого расстояния между каждой из малых областей DWt1-DWtn и формой DWt-1 разностного сигнала в непосредственно предшествующий момент времени. Соответственно, модуль 33 обнаружения трехмерных объектов создает гистограмму из величины смещения, которая включает в себя переменность, v, и вычисляет проезжаемое расстояние из гистограммы. В процессе, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) из максимального значения в гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 8, модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, посредством проезжаемого расстояния τ*. Таким образом, в настоящем варианте осуществления, даже когда имеется переменность в величинах смещения, можно вычислять более высокоточное проезжаемое расстояние из их максимального значения. Проезжаемое расстояние τ* является относительным проезжаемым расстоянием трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) относительно рассматриваемого транспортного средства. Соответственно, при вычислении абсолютного проезжаемого расстояния, модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе проезжаемого расстояния τ*, полученного таким способом, и сигнала из датчика 20 скорости транспортного средства.

[0035] Таким образом, в настоящем варианте осуществления, посредством вычисления проезжаемого расстояния трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) из величины смещения формы DWt разностного сигнала, когда минимизируется ошибка в формах DWt разностных сигналов, сформированных в разные моменты времени, проезжаемое расстояние может быть вычислено из величины смещения, которая представляет одномерную информацию, т.е. формы сигнала, и вычислительные затраты, возникающие при вычислении проезжаемого расстояния, могут поддерживаться на низком уровне. Кроме того, посредством разделения форм DWt разностных сигналов, сформированных в разные моменты времени, на множество малых областей DWt1-DWtn, может получаться множество форм сигналов, представляющих соответствующие местоположения трехмерного объекта, посредством этого давая возможность определения величины смещения для каждого соответствующего местоположения трехмерного объекта и давая возможность определения проезжаемого расстояния из множества величин смещения, посредством чего может повышаться точность вычисления проезжаемого расстояния. Кроме того, в настоящем варианте осуществления, проезжаемое расстояние трехмерного объекта вычисляется из временного изменения формы DWt разностного сигнала, которая включает в себя информацию направления высоты. Следовательно, по сравнению со случаем акцентирования внимания исключительно на движении одной точки, местоположение обнаружения до временного изменения и местоположение обнаружения после временного изменения указываются способом, который включает в себя информацию направления высоты, и, соответственно, с большой вероятностью располагаются в идентичном местоположении в трехмерном объекте; и поскольку проезжаемое расстояние вычисляется из временного изменения идентичного местоположения, может повышаться точность вычисления проезжаемого расстояния.

[0036] При создании гистограммы, для модуля 33 обнаружения трехмерных объектов допустимо выполнять взвешивание каждой из множества малых областей DWt1-DWtn и в соответствии с весовыми коэффициентами, подсчитывать величину смещения, определенную для каждой из малых областей DWt1-DWtn, создающих гистограмму. Фиг. 9 является видом взвешивания, используемого посредством модуля 33 обнаружения трехмерных объектов.

[0037] Как проиллюстрировано на фиг. 9, малая область DWm (где m является целым числом в 1 или более и n-1 или менее) является плоской. Другими словами, в малой области DWm, разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность, является малой. Модуль 33 обнаружения трехмерных объектов уменьшает вес, назначаемый этому типу малой области DWm. Причина состоит в том, что плоская малая область DWm не имеет отличительных признаков, и имеется высокая вероятность того, что ошибки возрастают при вычислении величины смещения.

[0038] С другой стороны, малая область DWm+k (где k является целым числом, равным n-m или менее) имеет существенную волнистость. Другими словами, в малой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, демонстрирующими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает вес, назначаемый этому типу малой области DWm. Причина состоит в том, что малая область DWm+k, содержащая существенную волнистость, имеет отличительные признаки, и имеется высокая вероятность того, что величина смещения должна вычисляется точно. Посредством назначения весовых коэффициентов таким способом, можно повышать точность вычисления проезжаемого расстояния.

[0039] В вышеописанном варианте осуществления, форма DWt разностного сигнала разделяется на множество малых областей DWt1-DWtn, чтобы повышать точность вычисления проезжаемого расстояния, но разделение на малые области DWt1-DWtn не должно осуществляться в случаях, в которых не требуется такая высокая точность вычисления проезжаемого расстояния. В этом случае, модуль 33 обнаружения трехмерных объектов должен вычислять проезжаемое расстояние из величины смещения формы DWt разностного сигнала, при которой минимизируется ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала. Другими словами, способ, посредством которого определяется величина смещения между формой DWt-1 разностного сигнала в непосредственно предшествующий момент времени и формой DWt разностного сигнала в текущий момент времени, представляет собой способ, описанный выше.

[0040] В настоящем варианте осуществления, модуль 33 обнаружения трехмерных объектов определяет скорость движения рассматриваемого транспортного средства V1 (камера 10) и определяет величину смещения для стационарного объекта из скорости движения, так определенной. После определения величины смещения стационарного объекта, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта при пренебрежении величины смещения, которая, из максимальных значений гистограммы, соответствует величине смещения стационарного объекта.

[0041] Фиг. 10 является видом другого примера гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Когда стационарный объект присутствует в дополнение к трехмерному объекту в пределах угла обзора камеры 10, два максимальных значения т1, х2 появляются на результирующей гистограмме. В этом случае, одно из двух максимальных значений т1, т2 представляет величину смещения стационарного объекта. Следовательно, из скорости движения, модуль 33 обнаружения трехмерных объектов определяет величину смещения для стационарного объекта и использует оставшееся максимальное значение для того, чтобы вычислять проезжаемое расстояние трехмерного объекта при пренебрежении максимальным значением, которое соответствует этой величине смещения. Посредством этого можно предотвращать ситуацию, в которой снижается точность вычисления проезжаемого расстояния трехмерного объекта вследствие стационарного объекта.

[0042] Даже когда величиной смещения, соответствующей стационарному объекту, пренебрегают, в случаях, в которых имеется множество максимальных значений, можно гипотетически предполагать, что множество трехмерных объектов может присутствовать в пределах угла обзора камеры 10. Тем не менее, чрезвычайно редко множество трехмерных объектов присутствуют в областях A1, А2 обнаружения. Соответственно, модуль 33 обнаружения трехмерных объектов приостанавливает вычисление проезжаемого расстояния. В настоящем варианте осуществления, посредством этого можно предотвращать такие ситуации, когда имеется множество максимальных значений, в которых может быть вычислено ошибочное проезжаемое расстояние.

[0043] На основе захваченного изображения, захваченного посредством камеры 10, модуль 34 оценки темноты выполняет оценку в отношении того, в данный момент темно или нет. В частности, модуль 3 4 оценки темноты вычисляет среднюю яркость всего захваченного изображения, а также обнаруживает области с высокой яркостью, которые имеют яркостное различие относительно окрестности, которое равно или превышает предварительно определенное значение, и которые имеют предварительно определенные плоские размеры или более, в качестве источников света. Затем, в случае если модуль 34 оценки темноты обнаруживает то, что средняя яркость всего захваченного изображения равна или меньше предварительно определенного значения, и кроме того, обнаруживает предварительно определенное количество (предварительно определенное число) или более источников света в течение предварительно определенного времени, оценивает то, что в данный момент темно. Таким образом, модуль 34 оценки темноты выполняет оценку не только относительно яркости всего захваченного изображения, но также и относительно того, присутствуют или нет источники света, посредством чего может эффективно предотвращаться ошибочная оценка темноты, например, вследствие отсутствия источников света, таких как передние фары других транспортных средств или уличные светильники, в окрестности рассматриваемого транспортного средства V1 в сумерки.

[0044] Как проиллюстрировано на фиг. 11, модуль 35 обнаружения источников света выполняет обнаружение источника света, соответствующего передней фаре находящегося в смежной полосе движения транспортного средства 42, в предварительно определенной области обнаружения источников света сзади рассматриваемого транспортного средства. Фиг. 11 является видом области обнаружения источников света и иллюстрирует пример захваченного изображения, захваченного в темноте. Модуль 35 обнаружения источников света устанавливает, в качестве области обнаружения источников света, область, которая включает в себя области A1, А2 обнаружения, и в которой, в случае если находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, но не обнаруживаются такие источники света, как передние фары едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство V1, уличные светильники и т.п. Например, в примере, проиллюстрированном на фиг. 11, показаны в качестве примера передняя фара Lh1 находящегося в смежной полосе движения транспортного средства 42; уличные светильники Ls1, Ls2, расположенные у дороги; и передние фары Lh2a, Lh2b едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство. Как проиллюстрировано на фиг. 11, модуль 35 обнаружения источников света устанавливает, в качестве области обнаружения источников света, область, в которой обнаруживается передняя фара Lh находящегося в смежной полосе движения транспортного средства V2, но не обнаруживаются уличные светильники Ls1, Ls2, распложенные у дороги, и передние фары Lh2a, Lh2b едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство. Модуль 35 обнаружения источников света затем обнаруживает, в качестве потенциальной области, которая соответствует передней фаре находящегося в смежной полосе движения транспортного средства V2, область изображения в установленной области обнаружения источников света, причем область изображения отличается по яркости от окрестности на предварительно определенное значение или более и имеет размер, равный или превышающий предварительно определенные плоские размеры, чтобы посредством этого обнаруживать источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2. Модуль 35 обнаружения источников света многократно выполняет обнаружение источника света, соответствующего передней фаре находящегося в смежной полосе движения транспортного средства V2, в предварительно определенном цикле.

[0045] В случае если выполнена оценка темноты посредством модуля 34 оценки темноты, и кроме того, не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства 42, посредством модуля 35 обнаружения источников света, модуль 36 модификации пороговых значений модифицирует разностное пороговое значение th для обнаружения трехмерных объектов, чтобы предотвращать некорректное обнаружение грязи или другого постороннего вещества, осевшего на линзе, как находящегося в смежной полосе движения транспортного средства 42.

[0046] Вследствие низкой окружающей яркости, преобладающей в условиях темноты, в случае если грязь или другое постороннее вещество осело на линзе, возникают случаи, в которых очертание постороннего вещества, осевшего на линзе, является очень заметным вследствие освещения от уличных светильников или передних фар едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство, и вследствие захвата другого изображения постороннего вещества, осевшего на линзе, изображение постороннего вещества, осевшего на линзе, некорректно обнаружено как находящееся в смежной полосе движения транспортное средство V2. Соответственно, в настоящем варианте осуществления, в случае если выполнена оценка темноты, и кроме того, не обнаруживается источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, модуль 36 модификации пороговых значений модифицирует разностное пороговое значение th для обнаружения трехмерных объектов, модифицируя значение на более высокое значение. Следовательно, при условиях, в которых в условиях темноты оценено то, что находящееся в смежной полосе движения транспортное средство V2 не присутствует в смежной полосе движения, обнаружение трехмерных объектов может останавливаться, посредством чего в способе, поясненном ранее, могут эффективно предотвращаться ситуации, в которых грязь или другое постороннее вещество осело на линзе, и постороннее вещество, осевшее на линзе, некорректно обнаруживается как находящееся в смежной полосе движения транспортное средство V2. Только в случаях, в которых не обнаруживается источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства 42, и может быть оценено то, что находящееся в смежной полосе движения транспортное средство 42 не присутствует в смежной полосе движения, модуль 36 модификации пороговых значений модифицирует на более высокое значение разностное пороговое значение th для обнаружения трехмерных объектов. По этой причине, в настоящем варианте осуществления, в случае если обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, и оценено то, что находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, разностное пороговое значение th не модифицируется на высокое значение, и может надлежащим образом обнаруживаться присутствие находящегося в смежной полосе движения транспортного средства V2 в смежной полосе движения.

[0047] Дополнительно, модуль 36 модификации пороговых значений сравнивает скорость движения трехмерного объекта, вычисленную посредством модуля 33 обнаружения трехмерных объектов, со скоростью движения рассматриваемого транспортного средства V1, и в случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, либо в случае если разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства V1 меньше предварительно определенного значения AV, модифицирует разностное пороговое значение th. В случае если грязь или другое постороннее вещество плотно прилипает к линзе и не перемещается по поверхности линзы, изображения постороннего вещества должны быть захвачены в идентичных местоположениях в захваченных изображениях, и, следовательно, когда скорость движения трехмерных объектов вычисляется на основе формы разностного сигнала, скорость движения постороннего вещества должна вычисляться как составляющая скорость, идентичную скорости движения рассматриваемого транспортного средства. По этой причине, в случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, либо в случае если разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения AV, разностное пороговое значение th модифицируется на высокое значение, останавливая обнаружение трехмерных объектов, посредством чего может эффективно останавливаться обнаружение постороннего вещества, вычисляемого как имеющего скорость движения рассматриваемого транспортного средства V1. Вышеописанное предварительно определенное значение ΔV является значением, выбранным относительно ошибки при вычислении скорости движения постороннего вещества, осевшего на линзе, и может устанавливаться, надлежащим образом, посредством экспериментирования и т.п. Посредством остановки также обнаружения трехмерных объектов, когда разность относительно скорости движения рассматриваемого транспортного средства V1 меньше предварительно определенного значения ΔV, таким способом, даже в случаях ошибки, возникающей при вычислении скорости движения постороннего вещества, осевшего на линзе, может останавливаться обнаружение постороннего вещества, осевшего на линзе.

[0048] Дополнительно, в настоящем варианте осуществления, поскольку модуль 36 модификации пороговых значений модифицирует разностное пороговое значение th на более высокое значение в случаях, в которых скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, также может останавливаться обнаружение трехмерных объектов, которые не приближаются к рассматриваемому транспортному средству V1 (трехмерных объектов, имеющих более низкую скорость движения, чем рассматриваемое транспортное средство V1). В частности, в настоящем варианте осуществления, внимание акцентируется на обнаружении находящегося в смежной полосе движения транспортного средства V2, когда имеется вероятность контакта с ним, если рассматриваемое транспортное средство V1 должно сменять полосу движения, и посредством этого трехмерный объект, приближающийся к рассматриваемому транспортному средству V1 (трехмерный объект, имеющий более высокую скорость движения, чем рассматриваемое транспортное средство V1), должен обнаруживаться как находящееся в смежной полосе движения транспортное средство V2, приближающееся к рассматриваемому транспортному средству V1. По этой причине, когда находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, но не приближается к рассматриваемому транспортному средству V1 (находящееся в смежной полосе движения транспортное средство V2 имеет более низкую скорость движения, чем рассматриваемое транспортное средство V1), вероятность контакта в том случае, если рассматриваемое транспортное средство V1 должно сменять полосу движения, является малой, и, следовательно, разностное пороговое значение th может быть модифицировано на высокое значение, останавливая обнаружение находящегося в смежной полосе движения транспортного средства V2, не приближающегося к рассматриваемому транспортному средству V1. Таким образом, в случае если, например, водитель оповещается относительно присутствия находящегося в смежной полосе движения транспортного средства V2, когда обнаруживается находящееся в смежной полосе движения транспортное средство V2, оповещение должно выдаваться только тогда, когда находящееся в смежной полосе движения транспортное средство V2 приближается к рассматриваемому транспортному средству V1, уменьшая стресс для водителя, вызываемый вследствие таких оповещений.

[0049] В настоящем варианте осуществления, при сравнении скорости движения рассматриваемого транспортного средства V1 и скорости движения трехмерного объекта и модификации разностного порогового значения th, модуль 36 модификации пороговых значений сравнивает абсолютную скорость движения рассматриваемого транспортного средства V1 и абсолютную скорость движения трехмерного объекта; тем не менее, такая компоновка не предоставляется в качестве ограничения. Модуль 36 модификации пороговых значений, например, может модифицировать разностное пороговое значение th на основе относительной скорости движения трехмерного объекта относительно рассматриваемого транспортного средства V1. В частности, в этом случае, если относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 является отрицательным значением, модуль 36 модификации пороговых значений может оценивать то, что скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1; или если абсолютное значение относительной скорости движения трехмерного объекта относительно рассматриваемого транспортного средства V1 меньше предварительно определенного значения ΔV, может определять то, что разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства V1 меньше предварительно определенного значения ΔV.

[0050] Далее описывается процесс для обнаружения находящегося в смежной полосе транспортного средства в соответствии с настоящим вариантом осуществления. Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс для обнаружения находящегося в смежной полосе транспортного средства согласно настоящему варианту осуществления. Во-первых, данные захваченного изображения P из камеры 10 получаются посредством компьютера 30 (этап S101), и данные изображения PBt вида "с высоты птичьего полета" формируются (этап S102) посредством модуля 31 преобразования точки обзора на основе данных захваченного изображения Р, полученных таким способом, как проиллюстрировано на фиг. 12.

[0051] Далее, модуль 32 совмещения совмещает данные изображения PBt вида "с высоты птичьего полета" и данные изображения PBt-1 вида "с высоты птичьего полета" от непосредственно предшествующего момента времени и формирует данные разностного изображения PDt (этап S103). Более конкретно, модуль 32 совмещения преобразует разности в пикселных значениях изображений PBt, PBt-1 вида "с высоты птичьего полета" в абсолютные значения, и когда рассматриваемое абсолютное значение равно или превышает предварительно определенное разностное пороговое значение th, задает пикселное значение разностного изображения PDt равным 1, или когда абсолютное значение меньше предварительно определенного разностного порогового значения th, задает пикселное значение разностного изображения PDt равным 0. Разностное пороговое значение th для вычисления пикселных значений разностного изображения PDt в некоторых случаях модифицируется в процессе модификации пороговых значений, поясненном ниже, и в случаях, в которых модифицировано разностное пороговое значение th, модифицированное разностное пороговое значение th должно быть использовано на этапе S103. После этого, модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP, имеющих пикселные значения 1, из данных разностного изображения PDt и формирует форму DWt разностного сигнала (этап S104).

[0052] Модуль 33 обнаружения трехмерных объектов затем оценивает, равен или превышает либо нет пик формы DWt разностного сигнала предварительно определенное пороговое значение α (S105). В случае если пик формы DWt разностного сигнала не равен или превышает пороговое значение α, т.е. когда фактически нет разности, считается, что трехмерный объект не присутствует в захваченном изображении. Соответственно, в случае оценки того, что пик формы DWt разностного сигнала не равен или превышает пороговое значение α (этап S105="Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует, и что находящееся в смежной полосе движения транспортное средство V2 не присутствует (этап S114), затем возвращается к этапу S101 и повторяет процесс, проиллюстрированный на фиг. 12.

[0053] С другой стороны, в случае оценки того, что пик формы DWt разностного сигнала равен или превышает пороговое значение а (этап S105="Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект присутствует в смежной полосе движения, и переходит к этапу S106, на котором модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество малых областей DWt1-DWtn. Затем, модуль 33 обнаружения трехмерных объектов выполняет взвешивание каждой из малых областей DWt1-DWtn (этап S107), вычисляет величину смещения для каждой из малых областей DWt1-DWtn (этап S108) и формирует взвешенную гистограмму (этап S109).

[0054] На основе гистограммы, модуль 33 обнаружения трехмерных объектов затем вычисляет относительное проезжаемое расстояние, представляющее проезжаемое расстояние трехмерного объекта относительно рассматриваемого транспортного средства V1 (SI10). Затем, модуль 33 обнаружения трехмерных объектов вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S111). В это время, модуль 33 обнаружения трехмерных объектов выполняет временное дифференцирование относительного проезжаемого расстояния и вычисляет относительную скорость движения, а также прибавление скорости рассматриваемого транспортного средства, обнаруженной посредством датчика 20 скорости транспортного средства, и вычисление абсолютной скорости движения.

[0055] После этого, модуль 33 обнаружения трехмерных объектов оценивает, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и дополнительно, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства +60 км/ч или меньше (этап S112). Когда оба условия удовлетворяются (этап S112="Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что обнаруженный трехмерный объект представляет собой находящееся в смежной полосе транспортное средство, присутствующее в смежной полосе движения, и что находящееся в смежной полосе транспортное средство присутствует в смежной полосе движения (этап S113). Процесс, проиллюстрированный на фиг. 12, после этого завершается. С другой стороны, в случае если любое из условий не удовлетворяется (этап S112="Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что находящееся в смежной полосе движения транспортное средство V2 не присутствует в смежной полосе движения (этап S114). Процедура затем возвращается к этапу S101, и процесс, проиллюстрированный на фиг. 12, повторяется.

[0056] В настоящем варианте осуществления, левая и правая задняя часть рассматриваемого транспортного средства V1 обозначаются как области A1, А2 обнаружения, и основное внимание уделяется тому, имеется или нет вероятность контакта, если рассматриваемое транспортное средство V1 должно сменять полосу движения. По этой причине, выполняется процесс этапа S112. В частности, при допущении в настоящем варианте осуществления, что система должна активироваться на автостраде, в случае если скорость находящегося в смежной полосе движения транспортного средства V2 меньше 10 км/ч, несмотря на присутствие находящегося в смежной полосе движения транспортного средства V2, фактически это не представляет собой проблему, поскольку транспортное средство должно быть расположено еще дальше позади рассматриваемого транспортного средства V1 во время смены полосы движения. Аналогично, в случае если относительная скорость находящегося в смежной полосе движения транспортного средства V2 относительно рассматриваемого транспортного средства V1 превышает +60 км/ч (т.е. в случае если находящееся в смежной полосе движения транспортное средство V2 движется со скоростью, более чем на 60 км/ч превышающей скорость рассматриваемого транспортного средства V1), фактически это не представляет собой проблему, поскольку транспортное средство должно ехать впереди рассматриваемого транспортного средства V1 во время смены полосы движения. По этой причине, можно сказать, что на этапе S112 оценивается, должно или нет находящееся в смежной полосе движения транспортное средство V2 приводить к проблеме во время смены полосы движения.

[0057] На этапе S112, оценка в отношении того, составляет или нет абсолютная скорость движения находящегося в смежной полосе движения транспортного средства V2 10 км/ч или более, и в отношении того, составляет или нет относительная скорость движения находящегося в смежной полосе движения транспортного средства V2 относительно рассматриваемого транспортного средства V1 +60 км/ч или меньше, имеет следующее преимущество. Например, может возникать такая ситуация, что вследствие ошибки присоединения камеры 10, абсолютная скорость движения стационарного объекта обнаруживается как составляющая несколько километров в час. Соответственно, посредством оценки того, составляет или нет скорость 10 км/ч или более, можно уменьшать вероятность того, что стационарный объект определяется как находящееся в смежной полосе движения транспортное средство V2. Кроме того, может возникать такая ситуация, что вследствие шума обнаруживается то, что относительная скорость находящегося в смежной полосе движения, транспортного средства V2 относительно рассматриваемого транспортного средства V1 превышает +60 км/ч. Соответственно, посредством оценки того, составляет или нет относительная скорость +60 км/ч или меньше, можно уменьшать вероятность ошибочного обнаружения вследствие шума.

[0058] Дополнительно, вместо процесса этапа S112, может оцениваться то, что абсолютная скорость движения находящегося в смежной полосе движения транспортного средства V2 не является отрицательной или не является нулем. В настоящем варианте осуществления, вследствие акцента на том, имеется или нет вероятность контакта, если рассматриваемое транспортное средство V1 должно сменять полосу движения, в случае если находящееся в смежной полосе движения транспортное средство V2 обнаруживается на этапе S112, предупреждающий звук может выдаваться водителю рассматриваемого транспортного средства, либо отображение, соответствующее предупреждению, может формироваться посредством предварительно определенного устройства отображения.

[0059] Далее описывается процесс модификации пороговых значений согласно первому варианту осуществления со ссылкой на фиг. 13. Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс модификации пороговых значений согласно первому варианту осуществления. Процесс модификации пороговых значений, описанный ниже, выполняется параллельно с процессом обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированным на фиг. 12, и разностное пороговое значение th, которое задается через этот процесс модификации пороговых значений, применяется в качестве разностного порогового значения th в процессе обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированном на фиг. 12.

[0060] Как проиллюстрировано на фиг. 13, во-первых, на этапе S201, оценка в отношении того, в данный момент темно или нет, выполняется посредством модуля 34 оценки темноты. В частности, модуль 34 оценки темноты вычисляет среднюю яркость всего захваченного изображения и обнаруживает, в качестве источника света, область с высокой яркостью, имеющую яркостное различие относительно окрестности, которое равно или превышает предварительно определенное значение, и имеющую предварительно определенные плоские размеры или более. Затем, в случае если модуль 34 оценки темноты обнаруживает то, что средняя яркость всего захваченного изображения равна или меньше предварительно определенного значения и дополнительно обнаруживает предварительно определенное количество (предварительно определенное число) или более источников света в течение предварительно определенного времени, выполняет оценку темноты. В случае оценки темноты, процедура переходит к этапу S202, или в случае оценки отсутствия темноты, переходит к этапу S208.

[0061] На этапе S202, модуль 35 обнаружения источников света выполняет обнаружение источника света, соответствующего передней фаре находящегося в смежной полосе движения транспортного средства V2, выполняется в области обнаружения источников света, проиллюстрированной на фиг. 11, посредством. В частности, модуль 35 обнаружения источников света обнаруживает посредством потенциальной области, которая соответствует передней фаре находящегося в смежной полосе движения транспортного средства V2, область изображения в области обнаружения источников света, проиллюстрированной на фиг. 11, причем эта область изображения отличается по яркости от окрестности на предварительно определенное значение или более, и которая имеет размер, равный или превышающий предварительно определенные плоские размеры, чтобы посредством этого обнаруживать источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2. В частности, в настоящем варианте осуществления, модуль 35 обнаружения источников света многократно выполняет обнаружение источников света, соответствующих передним фарам находящегося в смежной полосе движения транспортного средства V2, ив случае если источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, обнаружен даже один раз в течение предварительно определенного времени, выводит результат обнаружения того, что обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2; или в случае, если не обнаружен источник света в области обнаружения источников света в течение предварительно определенного времени, выдает вывод о том, что не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2. Таким образом, можно надлежащим образом оценивать, присутствует или нет источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2. Затем, на этапе S203, с использованием результатов обнаружения на этапе S202, посредством модуля 36 модификации пороговых значений выполняется оценка в отношении того, обнаружен или нет источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, в области обнаружения источников света, и в случае если не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, процедура переходит к этапу S204, тогда как в случае, если обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, процедура переходит к этапу S208.

[0062] На этапе S204, скорость движения рассматриваемого транспортного средства V1 получается посредством модуля 36 модификации пороговых значений. Например, модуль 3 6 модификации пороговых значений получает скорость движения рассматриваемого транспортного средства V1 из датчика 20 скорости транспортного средства. На этапе S205, модуль 36 модификации пороговых значений получает скорость движения трехмерного объекта. Например, из модуля 33 обнаружения трехмерных объектов, модуль 36 модификации пороговых значений получает скорость движения трехмерного объекта, вычисленную посредством процесса обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированного на фиг. 12.

[0063] Затем, на этапе S206, модуль 36 модификации пороговых значений выполняет сравнение скорости движения рассматриваемого транспортного средства V1, которое получено на этапе S204, и скорости движения трехмерного объекта, которая получена на этапе S205. Более конкретно, модуль 36 модификации пороговых значений сравнивает скорость движения рассматриваемого транспортного средства V1 и скорость движения трехмерного объекта и оценивает, равна или меньше либо нет скорость движения трехмерного объекта скорости движения рассматриваемого транспортного средства V1, либо, меньше или нет разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства предварительно

определенного значения AV. В случае если любое из условий удовлетворяется, выполняется оценка того, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, не является находящимся в смежной полосе движения транспортным средством V2, приближающимся к рассматриваемому транспортному средству V1, процедура переходит к этапу S207, и значение разностного порогового значения th модифицируется на высокое значение посредством модуля 36 модификации пороговых значений. Таким образом, в случае если в условиях темноты не присутствует находящееся в смежной полосе движения транспортное средство V2, приближающееся к рассматриваемому транспортному средству V1, обнаружение трехмерных объектов останавливается во время процесса обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированного на фиг. 12, посредством чего, даже когда грязь или другое постороннее вещество осело на линзе, останавливается обнаружение такого постороннего вещества, и как результат, может эффективно предотвращаться ошибочное обнаружение постороннего вещества, осевшего на линзе, как находящегося в смежной полосе движения транспортного средства V2. С другой стороны, когда ни одно из условий не удовлетворяется, выполняется оценка того, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, является находящимся в смежной полосе движения транспортным средством V2, приближающимся к рассматриваемому транспортному средству V1, процедура переходит к этапу S208, и в случае если значение разностного порогового значения th модифицировано на высокое значение, разностное пороговое значение th возвращается к исходному значению. Таким образом, во время процесса обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированного на фиг. 12, исходное значение разностного порогового значения th используется при выполнении обнаружения находящегося в смежной полосе движения транспортного средства V2, приближающегося к рассматриваемому транспортному средству V1, и как результат, может надлежащим образом обнаруживаться находящееся в смежной полосе движения транспортное средство V2, приближающееся к рассматриваемому транспортному средству V1.

[0064] В случае если оценка темноты не выполнена на этапе S201 вследствие вероятности того, что яркость окрестности является высокой, считается маловероятным, что очертание постороннего вещества, осевшего на линзе, должно быть очень заметным вследствие освещения от уличных светильников, освещения от передних фар едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство V1, и т.п., и что изображение постороннего вещества, осевшего на линзе, некорректно обнаруживается как находящееся в смежной полосе движения транспортное средство V2. Следовательно, в этом случае, процедура переходит к этапу S208 без модификации разностного порогового значения th. В случае если источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, обнаружен на этапе S203, оценивается то, что находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, и, следовательно, процедура переходит к этапу S208, и значение разностного порогового значения th возвращается к исходному значению для того, чтобы надлежащим образом обнаруживать находящееся в смежной полосе движения транспортное средство V2.

[0065] Вышеуказанным способом согласно первому варианту осуществления, в случае если модуль 34 оценки темноты выполняет оценку темноты, и кроме того, не обнаруживается источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2 посредством модуля 35 обнаружения источников света, сравниваются скорость движения трехмерного объекта и скорость движения рассматриваемого транспортного средства V1, ив случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, разностное пороговое значение th модифицируется на высокое значение, с тем чтобы останавливать обнаружение трехмерных объектов. Таким образом, в случае если в условиях темноты может быть оценено то, что находящееся в смежной полосе движения транспортное средство V2 не присутствует в смежной полосе движения, разностное пороговое значение th модифицируется на высокое значение для того, чтобы останавливать обнаружение трехмерных объектов, посредством чего может эффективно предотвращаться ситуация, в которой вследствие низкой яркости окрестности в условиях темноты, очертание постороннего вещества, осевшего на линзе, является очень заметным вследствие освещения от уличных светильников, освещения от передних фар едущего сзади транспортного средства, движущегося в полосе движения, по которой движется рассматриваемое транспортное средство, и т.п., и изображение постороннего вещества некорректно обнаруживается как находящееся в смежной полосе движения транспортное средство V2.

[0066] Кроме того, когда грязь или другое постороннее вещество плотно прилипает к линзе, и постороннее вещество не перемещается по поверхности линзы, изображения постороннего вещества должны быть захвачены в идентичных местоположениях в захваченных изображениях, и следовательно, когда скорость движения трехмерных объектов вычисляется на основе формы разностного сигнала, скорость движения постороннего вещества, осевшего на линзе, должна вычисляться как составляющая скорость, примерно идентичную скорости движения рассматриваемого транспортного средства V1. По этой причине, в случае если в результате сравнения скорости движения трехмерного объекта и скорости движения рассматриваемого транспортного средства V1 обнаружено то, что скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, или что разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, разностное пороговое значение th модифицируется на высокое значение, посредством чего может останавливаться обнаружение постороннего вещества, имеющего скорость движения, примерно идентичную скорости движения рассматриваемого транспортного средства V1. С другой стороны, поскольку скорость движения находящегося в смежной полосе движения транспортного средства V2, приближающегося к рассматриваемому транспортному средству V1, выше скорости движения рассматриваемого транспортного средства V1, в случае если скорость движения трехмерного объекта выше скорости движения рассматриваемого транспортного средства V1 посредством оставления немодифицированным разностного порогового значения th и использования этого исходного разностного порогового значения th при обнаружении трехмерного объекта, может надлежащим образом обнаруживаться находящееся в смежной полосе движения транспортное средство V2, приближающееся к рассматриваемому транспортному средству V1.

[0067] ВАРИАНТ 2 ОСУЩЕСТВЛЕНИЯ

Далее описание обращается к устройству 1а обнаружения трехмерных объектов согласно второму варианту осуществления. Устройство 1а обнаружения трехмерных объектов согласно второму варианту осуществления является аналогичным первому варианту осуществления, за исключением того, что как проиллюстрировано на фиг. 14, компьютер 30а предоставляется вместо компьютера 30 первого варианта осуществления, и работа является такой, как описано ниже. Здесь, фиг. 14 является блок-схемой, иллюстрирующей подробности компьютера 30а согласно второму варианту осуществления.

[0068] Устройство 1а обнаружения трехмерных объектов согласно второму варианту осуществления содержит камеру 10 и компьютер 30а, как проиллюстрировано на фиг. 14. Компьютер 30а состоит из модуля 31 преобразования точки обзора, модуля 37 вычисления яркостного различия, модуля 38 обнаружения линий краев, модуля 33а обнаружения трехмерных объектов, модуля 34 оценки темноты, модуля 35 обнаружения источников света и модуля 36а модификации пороговых значений. Ниже описываются составляющие части устройства 1а обнаружения трехмерных объектов согласно второму варианту осуществления. Модуль 31 преобразования точки обзора, модуль 34 оценки темноты и модуль 35 обнаружения источников света являются аналогичными по структуре соответствующим модулям в первом варианте осуществления и, следовательно, не описываются.

[0069] Фиг. 15 является видом диапазона изображений камеры 10 на фиг. 14, фиг. 15(a) является видом сверху, а фиг. 15(b) является видом в перспективе в реальном пространстве позади рассматриваемого транспортного средства VI. Камера 10 устанавливается под предварительно определенным углом а обзора и захватывает заднюю сторону относительно рассматриваемого транспортного средства V1, включенную в предварительно определенный угол a обзора, как проиллюстрировано на фиг. 15(a). Угол a обзора камеры 10 задается таким образом, что в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V1, смежные полосы движения включаются в диапазон формирования изображений камеры 10, идентично тому, как проиллюстрировано на фиг. 2.

[0070] Области A1, А2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида "с высоты птичьего полета"), и позиция, размер и форма этих областей A1, А2 обнаружения оцениваются на основе расстояний d1-d4. Области A1, А2 обнаружения примера, проиллюстрированного на чертеже, не ограничены трапецеидальной формой и также могут иметь прямоугольную или некоторую другую форму в состоянии вида "с высоты птичьего полета", как проиллюстрировано на фиг. 2.

[0071] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V1 до линии LI, L2 контакта с землей. Линии L1, L2 контакта с землей означают линии, в которых трехмерный объект, присутствующий в полосе движения, смежной с полосой движения, по которой движется рассматриваемое транспортное средство V1, контактирует с поверхностью земли. Цель настоящего варианта осуществления заключается в том, чтобы обнаруживать находящееся в смежной полосе движения транспортное средство V2 и т.п. (включающее в себя двухколесные транспортные средства и т.п.), движущееся позади рассматриваемого транспортного средства V1, в полосе движения, смежной слева или справа от полосы движения рассматриваемого транспортного средства V1. Соответственно, расстояние d1, которое представляет позицию линий L1, L2 контакта с землей находящегося в смежной полосе движения транспортного средства V2, может быть выбрано, в общем, фиксированным способом из расстояния d11 от рассматриваемого транспортного средства V1 до белой разделительной полосы W и расстояния d12 от белой разделительной полосы W до позиции, в которой прогнозируется движение находящегося в смежной полосе движения транспортного средства V2.

[0072] Отсутствуют ограничения на фиксированный выбор расстояния d1; расстояние может быть переменным. В этом случае, компьютер 30а может использовать распознавание белых разделительных полос или другую технологию для того, чтобы распознавать позиции белых разделительных полос W относительно рассматриваемого транспортного средства V1 и выбирать расстояние d11 на основе позиций распознанных белых разделительных полос W. Расстояние d1 посредством этого задается переменным способом, с использованием выбранного расстояния d11. В настоящем варианте осуществления, описанном ниже, главным образом прогнозируемыми являются позиция движения находящегося в смежной полосе движения транспортного средства V2 (расстояние d12 от белой разделительной полосы W) и позиция движения рассматриваемого транспортного средства V1 (расстояние d11 от белой разделительной полосы W), а расстояние d1 выбирается фиксированно.

[0073] Расстояние d2 представляет расстояние, идущее в направлении продвижения транспортного средства от задней концевой части рассматриваемого транспортного средства V1. Это расстояние d2 выбирается таким образом, что области A1, А2 обнаружения размещаются, по меньшей мере, в пределах угла а обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается равным как тангенциальное к диапазону, разграниченному посредством угла а обзора. Расстояние d3 представляет длину областей A1, А2 обнаружения в направлении продвижения транспортного средства. Расстояние d3 выбирается на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, должно быть обнаружено находящееся в смежной полосе транспортное средство V2 и т.п., и следовательно, расстояние d3 задается равным длине, которая включает в себя находящееся в смежной полосе транспортное средство V2.

[0074] Расстояние d4 является расстоянием, указывающим высоту, которая задана таким образом, что шины находящегося в смежной полосе транспортного средства V2 и т.п. включаются в реальное пространство, как проиллюстрировано на фиг. 15(b). В изображении вида "с высоты птичьего полета" расстояние d4 является длиной, проиллюстрированной на фиг. 15(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, еще далее смежные с левой и правой смежными полосами движения в изображении вида "с высоты птичьего полета" (т.е. "находящиеся через одну полосы движения", которые располагаются через одну полосу движения). Причина этого заключается в следующем. Когда включаются полосы движения на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V1, более невозможно отличать, присутствует или нет находящееся в смежной полосе движения транспортное средство V2 в смежной полосе движения слева или справа от полосы движения рассматриваемого транспортного средства, которая представляет собой полосу движения, по которой движется рассматриваемое транспортное средство V1, либо, присутствует или нет находящееся через одну полосу движения транспортное средство в находящейся через одну полосе движения, расположенной через одну полосу движения.

[0075] Как описано выше, выбираются расстояния d1-d4, и посредством этого выбирают позиция, размер и форма областей А1, А2 обнаружения. Более конкретно, позиция верхней стороны b1 трапециевидных областей A1, А2 обнаружения выбирается через расстояние d1. Начальная позиция С1 верхней стороны b1 выбирается через расстояние d2. Конечная позиция С2 верхней стороны b1 выбирается через расстояние d3. Поперечная сторона b2 трапециевидных областей A1, А2 обнаружения выбирается через прямую линию L3, идущую из камеры 10 в направлении начальной позиции С1. Аналогично, поперечная сторона b3 трапециевидных областей A1, А2 обнаружения выбирается через прямую линию L4, идущую из камеры 10 в направлении конечной позиции С2. Позиция нижней стороны b4 трапециевидных областей A1, А2 обнаружения выбирается через расстояние d4. Таким образом, области, ограниченные посредством сторон b1-b4, составляют области A1, А2 обнаружения. Области A1, А2 обнаружения представляют собой правильные квадраты (прямоугольники) в реальном пространстве, расположенные позади рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 15(b).

[0076] Модуль 37 вычисления яркостного различия выполняет вычисления яркостного различия для данных изображений вида "с высоты птичьего полета", которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, и посредством этого обнаруживает края трехмерного объекта, включенного в изображение вида "с высоты птичьего полета". Для каждой из множества позиций вдоль перпендикулярной воображаемой линии, идущей вдоль перпендикулярного направления в реальном пространстве, модуль 37 вычисления яркостного различия вычисляет яркостное различие между двумя пикселами около каждой рассматриваемой позиции. Модуль 37 вычисления яркостного различия допускает вычисление яркостных различий посредством способа, влекущего за собой задание одной перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве, или посредством способа, влекущего за собой задание двух перпендикулярных воображаемых линий.

[0077] Здесь описывается конкретный способ для задания двух перпендикулярных воображаемых линий. Для данных изображений вида "с высоты птичьего полета", которые подвергнуты преобразованию точки обзора, модуль 37 вычисления яркостного различия задает первую перпендикулярную воображаемую линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и вторую перпендикулярную воображаемую линию, которая отличается от первой перпендикулярной воображаемой линии и которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве. Модуль 37 вычисления яркостного различия определяет яркостные различия между точками на первой перпендикулярной воображаемой линии и точками на второй перпендикулярной воображаемой линии, что выполняется непрерывным способом вдоль первой перпендикулярной воображаемой линии и второй перпендикулярной воображаемой линии. Ниже подробно описывается работа модуля 37 вычисления яркостного различия.

[0078] Модуль 37 вычисления яркостного различия задает первую перпендикулярную воображаемую линию La (ниже называемую "линией концентрации внимания La"), которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и которая проходит через область А1 обнаружения, как проиллюстрировано на фиг. 16(a). Модуль 37 вычисления яркостного различия также задает вторую перпендикулярную воображаемую линию Lr (ниже называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания и которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и проходит через область А1 обнаружения. Здесь, опорная линия Lr задается равной позиции, расположенной на расстоянии от линии La концентрации внимания, причем это расстояние равно предварительно определенному расстоянию в реальном пространстве. Линии, которые соответствуют сегментам линии, идущим в перпендикулярном направлении в реальном пространстве, являются линиями, которые расходятся радиально от позиции Ps камеры 10 в изображении вида "с высоты птичьего полета". Эти радиально расходящиеся линии являются линиями, которые лежат вдоль направления сплющивания трехмерного объекта, когда объект преобразуется в вид "с высоты птичьего полета".

[0079] Модуль 37 вычисления яркостного различия задает точку Ра концентрации внимания на линии La концентрации внимания (точку на первой перпендикулярной воображаемой линии). Модуль 37 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй перпендикулярной воображаемой линии). Линия La концентрации внимания, точка Ра концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, проиллюстрированную на фиг. 16(b). Из фиг. 16(b) очевидно, что линия La концентрации внимания и опорная линия Lr являются линиями, идущими в перпендикулярном направлении в реальном пространстве, и точка Ра концентрации внимания и опорная точка Pr являются точками, заданными, в общем, с идентичной высотой в реальном пространстве. Необязательно, чтобы точки Ра концентрации внимания и опорной точки Pr находились точно на идентичной высоте, и допустимым является такой уровень ошибки, при котором точка Ра концентрации внимания и опорная точка Pr могут считаться как находящиеся на идентичной высоте.

[0080] Модуль 37 вычисления яркостного различия определяет яркостное различие между точкой Ра концентрации внимания и опорной точкой Pr. В случаях большого яркостного различия между точкой Ра концентрации внимания и опорной точкой Pr, следует понимать, что край может присутствовать между точкой Pa концентрации внимания и опорной точкой Pr. Во втором варианте осуществления, в частности, перпендикулярные воображаемые линии задаются в качестве сегментов линии, идущих в перпендикулярном направлении в реальном пространстве относительно изображения вида "с высоты птичьего полета", чтобы обнаруживать трехмерный объект, присутствующий в областях A1, А2 обнаружения. Следовательно, в случаях высокого яркостного различия между линией La концентрации внимания и опорной линией Lr, очень вероятно, что край трехмерного объекта присутствует в местоположении, в котором задана линия La концентрации внимания. Соответственно, модуль 38 обнаружения линий краев, проиллюстрированный на фиг. 14, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.

[0081] Этот аспект описывается подробнее. Фиг. 17 является видом подробной работы модуля 37 вычисления яркостного различия, при этом фиг. 17(a) иллюстрирует изображение вида "с высоты птичьего полета" состояния вида "с высоты птичьего полета", а фиг. 17(b) является укрупненным видом участка В1 изображения вида "с высоты птичьего полета", проиллюстрированного на фиг. 17(a). На фиг. 17, проиллюстрирована и описана только область А1 обнаружения, но яркостное различие также вычисляется посредством идентичной процедуры для области А2 обнаружения.

[0082] Когда находящееся в смежной полосе транспортное средство V2 показывается в захваченном изображении, захваченном посредством камеры 10, находящееся в смежной полосе транспортное средство V2 появляется в области А1 обнаружения в изображении вида "с высоты птичьего полета", как проиллюстрировано на фиг. 17 (а). Допустим, что линия La концентрации внимания задана в резиновом участке шины находящегося в смежной полосе движения транспортного средства V2 в изображении вида "с высоты птичьего полета" на фиг. 17(b), как проиллюстрировано в укрупненном виде области В1 на фиг. 17(a). В этом состоянии, сначала модуль 37 вычисления яркостного различия задает опорную линию Lr. Опорная линия Lr задается вдоль перпендикулярного направления в позиции на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. В частности, в устройстве 1а обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии на расстоянии в 10 см в реальном пространстве от линии La концентрации внимания. Опорная линия Lr посредством этого задается на колесе шины находящегося в смежной полосе транспортного средства 42, например, на расстоянии, эквивалентном 10 см от резины шины находящегося в смежной полосе транспортного средства 42 в изображении вида "с высоты птичьего полета".

[0083] Затем, модуль 37 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 17(b), для удобства в описании, задаются шесть точек Pa1-Ра6 концентрации внимания (ниже называемые просто "точками Pai концентрации внимания" при указании произвольной точки). Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, предполагается, что N точек Pa концентрации внимания заданы на линии La концентрации внимания.

[0084] Модуль 37 вычисления яркостного различия затем задает опорные точки Pr1-PrN таким образом, что эти точки имеют высоту, идентичную высоте точек Pa1-PaN концентрации внимания в реальном пространстве. Модуль 37 вычисления яркостного различия после этого вычисляет яркостные различия между точками Pa концентрации внимания и опорными точками Pr, расположенными на идентичной высоте. Модуль 37 вычисления яркостного различия посредством этого вычисляет яркостные различия между парами пикселов для каждой из множества позиций (1-N) вдоль перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве. Модуль 37 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pa1 концентрации внимания и первой опорной точкой Pr1 и вычисляет яркостное различие между второй точкой Ра2 концентрации внимания и второй опорной точкой Pr2. Модуль 37 вычисления яркостного различия посредством этого определяет яркостные различия непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 37 вычисления яркостного различия последовательно определяет яркостные различия между третьей-N-ой точками Ра3-PaN концентрации внимания и третьей-N-ой опорными точками Pr3-PrN.

[0085] При сдвиге линии La концентрации внимания в области А1 обнаружения модуль 37 вычисления яркостного различия повторяет процесс задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания и опорной точки Pr и вычисления яркостного различия. Другими словами, модуль 37 вычисления яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La концентрации внимания и опорной линии Lr, соответственно, на идентичное расстояние в направлении прохождения линии L1 контакта с землей в реальном пространстве. Модуль 37 вычисления яркостного различия, например, задает линию, которая представляет собой опорной линию Lr в предыдущем процессе, в качестве следующей линии La концентрации внимания, затем задает опорную линию Lr относительно этой линии La концентрации внимания, определяя яркостные различия последовательным способом.

[0086] Таким образом, во втором варианте осуществления, посредством определения яркостных различий из точек Pa концентрации внимания на линии La концентрации внимания и опорных точек Pr на опорной линии Lr, расположенных, в общем, на идентичной высоте в реальном пространстве, яркостные различия могут четко обнаруживаться в случаях, в которых присутствует край, идущий в перпендикулярном направлении. Точность обнаружения трехмерного объекта может повышаться без влияния на процесс обнаружения трехмерного объекта, даже когда трехмерный объект растянут согласно высоте от поверхности дороги вследствие преобразования в изображение вида "с высоты птичьего полета", с тем чтобы сравнивать яркость между перпендикулярными воображаемыми линиями, идущими в перпендикулярном направлении в реальном пространстве.

[0087] Возвращаясь к фиг. 14, модуль 38 обнаружения линий краев обнаруживает линию края из непрерывных яркостных различий, вычисленных посредством модуля 37 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 17(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является малым. Вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновом участке шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются в участке колеса шины. Следовательно, яркостные различия между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Соответственно, модуль 38 обнаружения линий краев может обнаруживать то, что линия края присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, которые имеют большие яркостные различия.

[0088] В частности, когда должна обнаруживаться линия края, модуль 38 обнаружения линий краев сначала назначает i-ой точке Pai концентрации внимания атрибут из яркостного различия между i-ой точкой Pai концентрации внимания (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi′,yi′)) в соответствии с формулой 1, приведенной ниже.

[Формула 1]

когда I(xi,yi)>I(xi′,yi′)+t

s(xi,yi)=1

когда I(xi,yi)<I(xi′,yi′)-t

s(xi,yi)=-1

Иначе,

s(xi,yi)=0

[0089] В вышеприведенной формуле 1, t представляет пороговое значение края; I(xi,yi) представляет значение яркости i-ой точки Pai концентрации внимания; и I(xi′,yi′) представляет значение яркости i-ой опорной точки Pri. В соответствии с вышеуказанной формулой 1, в случае если значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством суммирования порогового значения t с опорной точкой Pri, атрибут s(xi,yi) точки Pai концентрации внимания равен 1. С другой стороны, в случае если значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t края из опорной точки Pri, атрибут s(xi,yi) точки Pai концентрации внимания равен -1. В случае если значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri имеют взаимосвязь, отличную от взаимосвязи, отмеченной выше, атрибут s(xi,yi) точки Pai концентрации внимания равен 0. В настоящем варианте осуществления, возникают случаи, в которых пороговое значение t края модифицируется посредством модуля 36a модификации пороговых значений, поясненного ниже, и в случаях, в которых пороговое значение t края модифицировано посредством модуля 36a модификации пороговых значений, пороговое значение t края, которое модифицировано посредством модуля 36а модификации пороговых значений, используется при обнаружении атрибута s(xi,yi) точки Pai концентрации внимания.

[0090] Затем, на основе следующей формулы 2, модуль 38 обнаружения линий краев оценивает, является или нет линия La концентрации внимания линией края, из неразрывности c(xi,yi) атрибута s вдоль линии La концентрации внимания.

[Формула 2]

когда s(xi,yi)=s(xi+1,yi+1) (за исключением 0=0)

c(xi,yi)=1

Иначе,

c(xi,yi)=0

[0091] В случаях, в которых атрибут s(xi,yi) точки Pai концентрации внимания и атрибут s(xi+1,yi+1) смежной точки Pai+1 концентрации внимания являются идентичными, неразрывность c(xi,yi) равна 1. В случаях, в которых атрибут s(xi,yi) точки Pai концентрации внимания и атрибут s(xi+1,yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными, неразрывность c(xi,yi) равна 0.

[0092] Затем, модуль 38 обнаружения линий краев определяет сумму значений неразрывности во всех точек Ра концентрации внимания на линии La концентрации внимания. Модуль 38 обнаружения линий краев делит сумму значений неразрывности с, определенных таким способом, на число N точек Ра концентрации внимания, чтобы посредством этого нормализовать неразрывность с. В случае если нормализованное значение превышает пороговое значение θ, модуль 38 обнаружения линий краев оценивает то, что линия La концентрации внимания является линией края. Пороговое значение θ является значением, заданным заранее посредством экспериментирования или другого средства.

[0093] Другими словами, модуль 38 обнаружения линий краев оценивает, является или нет линия La концентрации внимания линией края, на основе формулы 3, приведенной ниже. Модуль 38 обнаружения линий краев затем оценивает, являются нет все линии La концентрации внимания, нарисованные в области А1 обнаружения, линиями краев.

[Формула 3]

∑c(xi,yi)/N>θ

[0094] Таким образом, во втором варианте осуществления, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr, и на основе неразрывности с атрибута вдоль линии концентрации внимания L, оценивается, является или нет рассматриваемая линия La концентрации внимания линией края. Следовательно, границы между областями с высокой яркостью и областями с низкой яркостью обнаруживаются в качестве линий краев, и края могут быть обнаружены способом, совместимым с естественными органами чувств человека. Ниже подробно описываются результаты вышеизложенного. Фиг. 18 является видом примера изображения, описывающего обработку посредством модуля 38 обнаружения линий краев. Этот пример изображения является изображением, в котором первый полосковый шаблон 101, указывающий полосковый шаблон повторяющихся областей с высокой яркостью и областей с низкой яркостью, и второй полосковый шаблон 102, указывающий полосковый шаблон повторяющихся областей с низкой яркостью и областей с высокой яркостью, располагаются рядом друг с другом. Кроме того, в этом примере изображения области с высокой яркостью в первом полосковом шаблоне 101 и области с низкой яркостью во втором полосковом шаблоне 102 являются смежными друг с другом, и области с низкой яркостью в первом полосковом шаблоне 101 и области с высокой яркостью во втором полосковом шаблоне 102 являются смежными друг с другом. Область 103, размещаемая на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством органов чувств человека.

[0095] В отличие от этого, поскольку области с низкой яркостью и области с высокой яркостью являются смежными друг с другом, когда края обнаруживаются исключительно через яркостные различия, область 103 должна быть распознана в качестве края. Тем не менее, поскольку модуль 38 обнаружения линий краев оценивает область 103 в качестве линии края только в случаях, в которых, в дополнение к яркостным различиям в области 103, имеется неразрывность атрибута яркостных различий, модуль 38 обнаружения линий краев может останавливать ошибочную оценку, посредством чего область 103, которая не распознается в качестве линии края посредством органов чувств человека, распознается в качестве линии края. Обнаружение краев посредством этого может осуществляться способом, совместимым с органами чувств человека.

[0096] Если вернуться к фиг. 14, модуль 33а обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 38 обнаружения линий краев. Как описано выше, устройство 1а обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линии краев, идущую в вертикальном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в перпендикулярном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в области А1 или А2 обнаружения. Соответственно, модуль 33a обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 38 обнаружения линий краев. В частности, модуль 33a обнаружения трехмерных объектов оценивает, равно или превышает либо нет число линий краев, обнаруженных посредством модуля 38 обнаружения линий краев, предварительно определенное пороговое значение β, и в случае если число линий краев равно или превышает предварительно определенное пороговое значение β, оценивает то, что линии краев, обнаруженные посредством модуля 38 обнаружения линий краев, являются линиями краев трехмерного объекта.

[0097] Кроме того, до обнаружения трехмерного объекта, модуль 33а обнаружения трехмерных объектов оценивает, являются или нет корректными линии краев, обнаруженные посредством модуля 38 обнаружения линий краев. Модуль 33a обнаружения трехмерных объектов оценивает, равно или превышает либо нет изменение яркости на линии края в изображении вида "с высоты птичьего полета" линии края предварительно определенное пороговое значение tb. В случае если изменение яркости на линии края в изображении вида "с высоты птичьего полета" равно или превышает предварительно определенное пороговое значение tb, оценивается то, что линия края обнаружена вследствие ошибочной оценки. С другой стороны, когда изменение яркости на линии края в изображении вида "с высоты птичьего полета" меньше предварительно определенного порогового значения tb, оценивается то, что рассматриваемая линия края является корректной. Пороговое значение tb задается заранее через экспериментирование и т.п.

[0098] Фиг. 19 является видом распределения яркости на линии края, фиг. При этом 19(a) иллюстрирует линию края и распределение яркости, когда находящееся в смежной полосе транспортное средство V2 в качестве трехмерного объекта присутствует в области А1 обнаружения, а фиг. 19(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области А1 обнаружения.

[0099] Допустим, что, как проиллюстрировано на фиг. 19(a), оценено то, что линия La концентрации внимания, заданная на резиновом участке шины находящегося в смежной полосе движения транспортного средства V2 в изображении вида "с высоты птичьего полета", является линией края. В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" является постепенным. Это обусловлено этим фактом, что шина находящегося в смежной полосе движения транспортного средства растягивается в изображении вида "с высоты птичьего полета" вследствие преобразования точки обзора изображения, захваченного посредством камеры 10, в изображение вида "с высоты птичьего полета". С другой стороны, также допустим, что, как проиллюстрировано на фиг. 19(b), линия La концентрации внимания, которая задана на участке знаков белого цвета "50", нарисованных на поверхности дороги в изображении вида "с высоты птичьего полета", некорректно оценена в качестве линии края. В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" имеет значительную волнистость. Это обусловлено тем, что поверхность дороги и другие участки с низкой яркостью присутствуют в комбинации с участками с высокой яркостью в символах белого цвета на линии края.

[0100] На основе разностей в распределении яркости на линии La концентрации внимания, как описано выше, модуль 33а оценки трехмерных объектов оценивает, обнаружена или нет линия края вследствие ошибочной оценки. Например, в случаях, в которых захваченное изображение, полученное посредством камеры 10, преобразуется в изображение вида "с высоты птичьего полета", трехмерный объект, включенный в захваченное изображение, зачастую появляется в растянутом состоянии в изображении вида "с высоты птичьего полета". Как описано выше, в случае если шина находящегося в смежной полосе движения транспортного средства V2 растягивается, поскольку растягивание осуществляется в одной области, т.е. в шине, изменение яркости изображения вида "с высоты птичьего полета" в направлении растягивания зачастую является малым. В отличие от этого, когда символ и т.п., нарисованный на поверхности дороги, некорректно оценен в качестве линии края, области с высокой яркостью, т.е. участок символов, и области с низкой яркостью, т.е. участки поверхности дороги, присутствуют в комбинации в изображении вида "с высоты птичьего полета". В таких случаях, изменения яркости в направлении растягивания имеют тенденцию быть больше. Соответственно, в случаях, в которых изменение яркости вдоль линии края равно или превышает предварительно определенное пороговое значение tb, модуль 33а обнаружения трехмерных объектов оценивает то, что рассматриваемая линия края обнаружена вследствие ошибочной оценки, и то, что рассматриваемая линия края не формируется посредством трехмерного объекта. Посредством этого минимизируется снижение точности обнаружения трехмерных объектов вследствие знаков белого цвета, таких как "50" на поверхности дороги, или придорожной растительности и т.п., оцениваемых в качестве линий краев. С другой стороны, в случаях, в которых изменение яркости вдоль линии края меньше предварительно определенного порогового значения tb, модуль 33а обнаружения трехмерных объектов оценивает то, что рассматриваемая линия края является линией края трехмерного объекта, и то, что трехмерный объект присутствует.

[0101] В частности, модуль 33а обнаружения трехмерных объектов использует следующую формулу 4 или 5 при вычислении изменения яркости линии края. Изменение яркости линии края является эквивалентным значению оценки в перпендикулярном направлении в реальном пространстве. Формула 4 оценивает распределение яркости с точки зрения суммы квадратов разности между i-ым значением I(xi,yi) яркости и смежным (i+1)-ым значением I(xi+1,yi+1) яркости на линии La концентрации внимания. Формула 5 оценивает распределение яркости с точки зрения суммы абсолютных значений разности между i-ым значением I(xi,yi) яркости и смежным (i+1)-ым значением I(xi+1,yi+1) яркости на линии La концентрации внимания.

[Формула 4]

Значение оценки в перпендикулярном эквивалентном направлении =∑[{I(xi,yi)-I(xi+1,yi+1)}-2]

[Формула 5]

Значение оценки в перпендикулярном эквивалентном направлении =∑|I(xi,yi)-I(xi+1,yi+1)|

[0102] Ограничений на использование вышеуказанной формулы 5 нет, и также можно преобразовывать в двоичную форму значения атрибута b смежного значения яркости с использованием порогового значения t2 и затем суммировать преобразованные в двоичную форму значения атрибута b для всех точек Ра концентрации внимания, как указано в нижеприведенной формуле 6.

[Формула 6]

Значение оценки в перпендикулярном эквивалентном направлении =∑b(xi,yi)

Когда |I(xi,yi)-I(xi+1,yi+1)|>t2, то:

b(xi,yi)=1

Иначе, b(xi,yi)=0

[0103] Когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2, атрибут b(xi,yi) рассматриваемой точки Ра концентрации внимания (xi,yi) равен 1. В случаях, в которых вышеуказанная взаимосвязь не является истинной, атрибут b(xi,yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее посредством экспериментирования и т.п., так что линии La концентрации внимания не оцениваются как находящиеся на идентичном трехмерном объекте. Модуль 33а обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и извлекает значение оценки в перпендикулярном эквивалентном направлении, чтобы посредством этого оценивать, обусловлена или нет линия края посредством трехмерного объекта, и то, что трехмерный объект присутствует.

[0104] Дополнительно, на основе обнаруженной линии края трехмерного объекта, модуль 33а обнаружения трехмерных объектов вычисляет скорость движения трехмерного объекта. Хотя отсутствуют конкретные ограничения в отношении способа, посредством которого модуль 33а обнаружения трехмерных объектов вычисляет скорость движения трехмерного объекта, модуль 33а обнаружения трехмерных объектов может вычислять скорость движения трехмерного объекта, например, следующим образом. В частности, на основе линии края, обнаруженной из секции, соответствующей области А1 или А2 обнаружения, модуль 33а обнаружения трехмерных объектов формирует одномерную форму EWt сигнала края. Например, идентично способу, используемому для того, чтобы формировать форму DWt разностного сигнала в первом варианте осуществления, модуль 33а обнаружения трехмерных объектов подсчитывает число пикселов, соответствующих линии края вдоль направления сплющивания трехмерного объекта вследствие преобразования точки обзора, формируя частотное распределение и посредством этого формируя одномерную форму EDt сигнала края. Затем на основе формы EWt сигнала края в текущий момент времени и формы EWt-1 сигнала края в непосредственно предшествующий момент времени, модуль 33а обнаружения трехмерных объектов вычисляет скорость движения трехмерного объекта. В частности, из временного изменения форм EWt, EWt-1 сигналов краев, модуль вычисления скорости транспортного средства края 43 вычисляет проезжаемое расстояние трехмерного объекта в предварительно определенное время, и через временное дифференцирование вычисленного проезжаемого расстояния трехмерного объекта, вычисляет скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1.

[0105] В случае оценки темноты посредством модуля 34 оценки темноты и в отсутствие обнаружения источника света, соответствующего передней фаре находящегося в смежной полосе движения транспортного средства V2, посредством модуля 35 обнаружения источников света, модуль 36а модификации пороговых значений модифицирует пороговое значение t края для обнаружения трехмерных объектов, с тем чтобы предотвращать некорректное обнаружение грязи или другого постороннего вещества, осевшего на линзе, как находящегося в смежной полосе движения транспортного средства V2. В частности, идентично первому варианту осуществления, модуль 36а модификации пороговых значений сравнивает скорость движения трехмерного объекта, вычисленную посредством модуля 33 обнаружения трехмерных объектов, со скоростью движения рассматриваемого транспортного средства V1, и в случае если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, модифицирует пороговое значение t края на высокое значение.

[0106] Далее описывается способ для обнаружения находящегося в смежной полосе движения транспортного средства согласно второму варианту осуществления со ссылкой на фиг. 20. Фиг. 20 является блок-схемой последовательности операций способа, иллюстрирующей подробности для обнаружения находящегося в смежной полосе движения транспортного средства согласно второму варианту осуществления. Этот процесс обнаружения находящихся в смежной полосе движения транспортных средств выполняется параллельно с процессом вычисления степени замутненности, поясненным ниже. На фиг. 20, для удобства, процесс описывается относительно области А1 обнаружения, но идентичный процесс также должен выполняться относительно области А2 обнаружения.

[0107] На этапе S301, изображение предварительно определенной области, указываемой посредством угла а обзора и позиции крепления, захватывается посредством камеры 10, и данные изображений для захваченного изображения Р, захваченного посредством камеры 10, получаются посредством компьютера 30а. Затем, на этапе S302, модуль 31 преобразования точки обзора выполняет преобразование точки обзора для полученных данных изображений, формируя данные изображений вида "с высоты птичьего полета".

[0108] Затем, на этапе S303, модуль 37 вычисления яркостного различия задает линию La концентрации внимания в области А1 обнаружения. В это время, модуль 37 вычисления яркостного различия задает линию, соответствующую линии, идущей в перпендикулярном направлении в реальном пространстве, в качестве линии La концентрации внимания. Далее, на этапе S304, модуль 37 вычисления яркостного различия задает опорную линию Lr в области А1 обнаружения. В это время, в качестве опорной линии Lr, модуль 37 вычисления яркостного различия задает линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве и отстоящему на предварительно определенное расстояние от линии La концентрации внимания в реальном пространстве.

[0109] Затем, на этапе S305, модуль 37 вычисления яркостного различия задает множество точек Ра концентрации внимания на линии La концентрации внимания. В процессе, модуль 37 вычисления яркостного различия задает точки Ра концентрации внимания в таком числе, что не возникают проблемы в ходе обнаружения краев посредством модуля 38 обнаружения краев. Кроме того, на этапе S306, модуль 37 вычисления яркостного различия задает опорные точки Pr таким образом, что точки Ра концентрации внимания и опорные точки Pr имеют, в общем, идентичную высоту в реальном пространстве. Точки Ра концентрации внимания и опорные точки Pr посредством этого выстраиваются в ряд, в общем, в горизонтальном направлении, и линии краев, идущие в перпендикулярном направлении в реальном пространстве, проще обнаруживаются.

[0110] Затем, на этапе S307, модуль 37 вычисления яркостного различия вычисляет яркостное различие между точками Ра концентрации внимания и опорными точками Pr с идентичной высотой в реальном пространстве. Затем на основе яркостного различия, вычисленного посредством модуля 37 вычисления яркостного различия, модуль 38 обнаружения линий краев вычисляет атрибут s каждой из точек Pa концентрации внимания, в соответствии с формулой 1, описанной выше. В настоящем варианте осуществления, пороговое значение t края для обнаружения краев трехмерных объектов используется при вычислении атрибута s каждой из точек Ра концентрации внимания. В некоторых случаях, это пороговое значение t края должно быть модифицировано в процессе модификации пороговых значений, поясненном ниже, и в случаях, в которых модифицировано пороговое значение t края, модифицированное пороговое значение края используется на этапе S307.

[0111] Затем, на этапе S308, модуль 38 обнаружения линий краев вычисляет неразрывность с атрибута s каждой из точек Ра концентрации внимания, в соответствии с формулой 2. Затем, на этапе S309, в соответствии с вышеуказанной формулой 3, модуль 38 обнаружения линий краев оценивает, превышает или нет значение, полученное посредством нормализации суммы неразрывности с, пороговое значение 9. В случае оценки того, что нормализованное значение превышает пороговое значение θ (этап S309="Да"), на этапе S310, модуль 38 обнаружения линий краев обнаруживает рассматриваемую линию La концентрации внимания в качестве линии края. После этого процесс переходит к этапу ST311. В случае оценки того, что нормализованное значение не превышает пороговое значение θ (этап S309="Нет"), модуль 38 обнаружения линий краев не обнаруживает рассматриваемую линию La концентрации внимания в качестве линии края, и процесс переходит к этапу S311.

[0112] На этапе S311, компьютер 30а оценивает, выполнен или нет процесс вышеуказанных этапов S303-S310 для всех линий La концентрации внимания, которые можно задавать в области А1 обнаружения. В случае оценки того, что вышеуказанный процесс не выполнен для всех линий La концентрации внимания (этап S311="Нет"), процесс возвращается к этапу S303, задается новая линия La концентрации внимания, и процесс повторяется через этап S311. С другой стороны, в случае оценки того, что процесс выполнен для всех линий La концентрации внимания (этап S311="Да"), процесс переходит к этапу S312.

[0113] На этапе S312, для каждой из линий краев, обнаруженных на этапе S310, модуль 33а обнаружения трехмерных объектов вычисляет изменение яркости вдоль рассматриваемой линии края. Модуль 33а обнаружения трехмерных объектов вычисляет изменения яркости линий краев в соответствии с любой из вышеупомянутых формул 4, 5 и 6. Далее, на этапе S311, модуль 33а обнаружения трехмерных объектов исключает, из числа линий краев, линии краев, в которых изменение яркости равно или превышает предварительно определенное пороговое значение tb. В частности, линии краев, имеющие большое изменение яркости, оцениваются качестве корректных линий краев, и эти линии краев не используются для обнаружения трехмерных объектов. Причина для этого, как описано выше, заключается в том, чтобы минимизировать случаи, в которых символы на поверхности дороги, придорожная растительность и т.п., включенные в область А1 обнаружения, обнаруживаются в качестве линий краев. Следовательно, предварительно определенное пороговое значение tb должно быть значением, извлекаемым посредством экспериментирования и т.п., задаваться на основе изменений яркости, возникновение которых наблюдается вследствие символов на поверхности дороги, придорожной растительности и т.п. С другой стороны, модуль 33а обнаружения трехмерных объектов оценивает то, что линий краев, линии краев, имеющие изменение яркости, которое меньше предварительно определенного порогового значения tb, являются линиями краев трехмерных объектов, и посредством этого обнаруживает трехмерный объект, присутствующий в смежной полосе движения.

[0114] Затем, на этапе S314, посредством модуля 33а обнаружения трехмерных объектов выполняется оценка в отношении того, равно или превышает либо нет число линий краев предварительно определенное пороговое значение β. Здесь, пороговое значение β является значением, определенным заранее посредством экспериментирования и т.п. В случаях, в которых, например, четырехколесные транспортные средства заданы в качестве трехмерных объектов, которые должны быть обнаружены, рассматриваемое пороговое значение β устанавливается посредством экспериментирования и т.п. заранее, причем это выполняется на основе числа линий краев четырехколесного транспортного средства, возникающего в области А1 обнаружения. В случае оценки того, что число линий краев равно или превышает предварительно определенное пороговое значение β (этап S314="Да"), модуль 33а оценки трехмерных объектов оценивает то, что трехмерный объект присутствует в области А1 обнаружения, процедура переходит к этапу S315, и оценивается то, что находящееся в смежной полосе движения транспортное средство присутствует. С другой стороны, в случае оценки того, что число линий краев не равно или превышает предварительно определенное пороговое значение β (этап S314="Нет"), модуль 33а оценки трехмерных объектов оценивает то, что трехмерный объект не присутствует в области А1 обнаружения, процедура переходит к этапу S316, и оценивается то, что находящееся в смежной полосе движения транспортное средство не присутствует в области А1 обнаружения.

[0115] Далее описывается процесс модификации пороговых значений согласно второму варианту осуществления со ссылкой на фиг. 21. Аналогично первому варианту осуществления, процесс модификации пороговых значений согласно второму варианту осуществления выполняется параллельно с процессом обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированным на фиг. 20. Процесс модификации пороговых значений согласно второму варианту осуществления заключает в себе модификацию порогового значения t края, используемого для того, чтобы обнаруживать трехмерные объекты, с тем чтобы находящееся в смежной полосе движения транспортное средство V2 могло быть обнаружено надлежащим образом, даже в случаях, в которых грязь или другое постороннее вещество осело на линзе. По этой причине, в этом процессе модификации пороговых значений, модифицированное пороговое значение t края используется в ходе обнаружения краев находящегося в смежной полосе движения транспортного средства V2 в процессе обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированном на фиг. 20. Фиг. 21 является блок-схемой последовательности операций способа, иллюстрирующей процесс модификации пороговых значений согласно второму варианту осуществления.

[0116] Как показано на фиг. 21, на этапах S401-S404 выполняется процесс, аналогичный процессу этапов S201-S204 первого варианта осуществления. В частности, сначала выполняется оценка в отношении того, в данный момент темно или нет, и в случае если оценка темноты выполнена (этап S401="Да"), обнаружение источника света, соответствующего передней фаре находящегося в смежной полосе движения транспортного средства V2, выполняется в области обнаружения источника света, показанной на фиг. 11 (этап S402). Затем, в случае если не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2 (этап S403="Нет"), получается скорость движения рассматриваемого транспортного средства V1 (этап S404). В случае если не выполнена оценка темноты (этап S401="Нет"), либо обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2 (этап S403="Да"), процедура переходит к этапу S408.

[0117] Затем, на этапе S405, скорость движения обнаруженного трехмерного объекта вычисляется посредством модуля 33а обнаружения трехмерных объектов. Более конкретно, на основе линий краев трехмерного объекта, модуль 33а обнаружения трехмерных объектов формирует одномерную форму EWt сигнала края и из временного изменения форм EWt, EWt-1 сигналов краев, вычисляет проезжаемое расстояние трехмерного объекта в предварительно определенное время и через временное дифференцирование вычисленного проезжаемого расстояния трехмерного объекта вычисляет скорость движения трехмерного объекта.

[0118] На этапе S406, модуль 36а модификации пороговых значений выполняет сравнение скорости движения рассматриваемого транспортного средства V1 и скорости движения трехмерного объекта и выполняет оценку в отношении того, равна или меньше либо нет скорость движения трехмерного объекта скорости движения рассматриваемого транспортного средства V1, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения ΔV. В случае если любое из условий удовлетворяется, оценивается то, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, не является находящимся в смежной полосе движения транспортным средством V2, пытающимся обгонять рассматриваемое транспортное средство V1, и значение порогового значения t края модифицируется на высокое значение (этап S407). С другой стороны, в случае если ни одно из условий не удовлетворяется, оценивается то, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, является находящимся в смежной полосе движения транспортным средством V2, пытающимся обгонять рассматриваемое транспортное средство V1, и значение находящегося в смежной полосе движения транспортного средства V2 восстанавливается к исходному значению для того, чтобы надлежащим образом обнаруживать находящееся в смежной полосе движения транспортное средство V2 (этап S408).

[0119] Вышеуказанным способом согласно второму варианту осуществления, обнаруживаются края находящегося в смежной полосе движения транспортного средства V2, и в случае если при выполнении обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе рассматриваемых краев, оценка темноты выполнена посредством модуля 34 оценки темноты, и кроме того, не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, посредством модуля 35 обнаружения источников света, пороговое значение t края модифицируется на высокое значение в случаях, в которых скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения ΔV, чтобы останавливать обнаружение трехмерных объектов. Таким образом, во втором варианте осуществления, в дополнение к преимуществам первого варианта осуществления, даже в случаях, в которых грязь или другое постороннее вещество осело на линзе в ходе обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе краев, может эффективно предотвращаться ошибочное обнаружение постороннего вещества как находящегося в смежной полосе движения транспортного средства V2, и можно надлежащим образом обнаруживать находящееся в смежной полосе движения транспортное средство V2.

[0120] Варианты осуществления, описанные выше, показаны для того, чтобы упрощать понимание настоящего изобретения, а не показаны для того, чтобы ограничивать настоящее изобретение. Следовательно, элементы, раскрытые в вышеприведенных вариантах осуществления, имеют намерение включать в себя все конструктивные модификации и эквиваленты, которые попадают в объем настоящего изобретения.

[0121] Например, варианты осуществления, представленные выше, показывают примерные конфигурации, в которых, в случае если выполнена оценка темноты, и кроме того, не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, разностное пороговое значение th или пороговое значение t края модифицируются на высокое значение в случаях, в которых скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения. Тем не менее, ограничений на эту конкретную конфигурацию нет, и также приемлема конфигурация, в которой, например, пороговое значение а или пороговое значение (3 для обнаружения трехмерных объектов модифицируется на высокое значение вместо разностного порогового значения th или порогового значения t края или в дополнение к разностному пороговому значению th или пороговому значению t края, либо конфигурация, в которой пороговое значение θ или пороговое значение t2, обнаруживающее трехмерные объекты, модифицируется на высокое значение. Таким образом, даже в случаях, в которых грязь или другое постороннее вещество осело на линзе камеры 10, могут эффективно предотвращаться случаи, в которых грязь или другое постороннее вещество некорректно обнаруживается как находящееся в смежной полосе движения транспортное средство V2. Дополнительно, также приемлема конфигурация, в которой вместо модификации разностного порогового значения th или порогового значения края до высокого значения, понижаются пикселные значения (или значения яркости), выводимые посредством камеры 10. В этом случае, вследствие больших затруднений в обнаружении разностных пикселов DP или краев, останавливается обнаружение трехмерных объектов (находящегося в смежной полосе движения транспортного средства V2), позволяя эффективно предотвращать некорректное обнаружение грязи или другое постороннего вещества как находящегося в смежной полосе движения транспортного средства V2.

[0122] Дополнительно, тогда как варианты осуществления, представленные выше, показывают примерные конфигурации, в которых трехмерный объект обнаруживается как находящееся в смежной полосе движения транспортное средство V2 в случае, если скорость движения трехмерного объекта удовлетворяет предварительно определенным условиям, также приемлема конфигурация, в которой, например, вместо модификации разностного порогового значения th или порогового значения t края до высокого значения, вышеуказанные условия задаются более строгими, чтобы посредством этого останавливать обнаружение находящегося в смежной полосе движения транспортного средства V2. Например, в вариантах осуществления, поясненных выше, трехмерный объект оценен как находящееся в смежной полосе движения транспортное средство V2 в случаях, в которых абсолютная скорость движения трехмерного объекта составляет 10 км/час или выше, и относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 составляет +60 км/ч или меньше; тем не менее, также приемлема конфигурация, в которой, в случае если оценка темноты выполнена, и кроме того, не обнаружен источник света, соответствующий передней фаре находящегося в смежной полосе движения транспортного средства V2, и дополнительно скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства V1, либо разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, трехмерный объект оценивается как находящееся в смежной полосе движения транспортное средство V2 в случаях, в которых, например, абсолютная скорость движения трехмерного объекта составляет 20 км/час или выше, и относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 составляет +50 км/ч или меньше.

[0123] В дополнение к вариантам осуществления, представленным выше, может быть выбрана конфигурация, содержащая модуль обнаружения посторонних веществ для обнаружения постороннего вещества, осевшего на линзе, посредством чего на основе результатов обнаружения из модуля обнаружения посторонних веществ, оценивается, осела грязь или другое постороннее вещество либо нет на линзе; и процесс модификации пороговых значений, поясненный выше, выполняется в случаях, в которых оценивается то, что грязь или другое постороннее вещество осело на линзе. Фиг. 22 и 23 являются видами, описывающими способ для обнаружения постороннего вещества, осевшего на линзе.

[0124] Более конкретно, как показано на фиг. 22, модуль обнаружения посторонних веществ выполняет процесс фильтрации нижних частот (фильтрации низких частот) для того, чтобы отсекать или ослаблять высокочастотные компоненты в форме DWt разностного сигнала, сформированной в предварительно определенное время t1. Посредством выполнения процесса фильтрации нижних частот для формы DWt разностного сигнала таким способом, может сглаживаться и усредняться форма DWt разностного сигнала. В частности, посредством выполнения процесса фильтрации нижних частот для формы DWt разностного сигнала, малые локальные максимумы, которые могут оцениваться как представляющие шум, могут исключаться из формы DWt разностного сигнала, раскрывая локальные максимумы, которые демонстрируют относительно большое изменение, и обеспечивая возможность извлечения признаков из информации полученных изображений. Как результат, могут раскрываться локальные максимумы формы DWt разностного сигнала вследствие присутствия постороннего вещества, осевшего на линзе, и могут извлекаться признаки, соответствующие постороннему веществу в информации полученных изображений.

[0125] Затем, как показано на фиг. 23, локальные максимумы формы DWt разностного сигнала после процесса фильтрации нижних частот вычисляются как стандартная частота посредством модуля обнаружения посторонних веществ, и на основе этой стандартной частоты устанавливается диапазон оценки в целях оценки того, присутствует или нет постороннее вещество. Например, модуль обнаружения посторонних веществ устанавливает, в качестве диапазона оценки, диапазон, идущий от значения, полученного посредством суммирования предварительно определенного значения допустимого запаса со стандартной частотой, до значения, полученного посредством вычитания предварительно определенного значения допустимого запаса из стандартной частоты. Стандартная частота не ограничивается локальными максимумами формы DWt разностного сигнала после процесса фильтрации нижних частот, и стандартная частота может быть вычислена, например, на основе локальных максимумов формы DWt разностного сигнала после процесса фильтрации нижних частот, к примеру, значения, которое превышает на предварительно определенное значение локальный максимум формы DWt разностного сигнала.

[0126] Как показано на фиг. 23, модуль обнаружения посторонних веществ затем получает, посредством частоты оценки, локальный максимум формы DWt разностного сигнала, вновь сформированной в одно или множество вторых времен t2 после первого времени t1, и подсчитывает число случаев, в которых оценивается то, что разность между стандартной частотой и частотой оценки в совместно используемых позициях в изображении вида "с высоты птичьего полета" находится в диапазоне оценки. Модуль обнаружения посторонних веществ затем повторяет вышеописанный процесс обнаружения посторонних веществ в ранее заданном, предварительно определенном периоде наблюдения, и в случае если подсчитанное число случаев равно или превышает предварительно определенное число tc случаев, оценивает то, что изображение, содержащее пикселы, которые соответствуют частоте оценки, извлекаемой в качестве результата подсчета, представляет постороннее вещество, осевшее на линзе.

[0127] Таким образом, посредством инструктирования модулю обнаружения посторонних веществ подсчитывать число случаев, в которых оценено то, что разность между стандартной частотой и частотой оценки в изображении вида "с высоты птичьего полета" находится в оцениваемом диапазоне, можно обнаруживать грязь или другое постороннее вещество, осевшее на линзе, когда постороннее вещество плотно прилипает к линзе и не перемещается. Таким образом, посредством выполнения процесса модификации пороговых значений, поясненного выше, только в случаях, в которых обнаружено постороннее вещество, может уменьшаться нагрузка по обработке в случаях, в которых постороннее вещество не осело на линзе.

[0128] Процесс обнаружения посторонних веществ посредством модуля обнаружения посторонних веществ также может быть выполнен на основе информации краев. Модуль обнаружения посторонних веществ извлекает первые локальные максимумы из информации краев, которая включает в себя информацию о линиях краев, сформированных посредством трехмерного модуля обнаружения 33 в одно или множество первых времен, а также получает длину опорного края на основе этих первых локальных максимумов. Информация линий краев включает в себя информацию (включающую в себя число пикселов) относительно длины края, демонстрирующего яркостное различие, равное или превышающее предварительно определенное пороговое значение, и имеющего предварительно определенную неразрывность. Из информации краев, вновь сформированной в одно или множество вторых времен после первого времени, модуль обнаружения посторонних веществ извлекает вторые локальные максимумы, соответствующие первым локальным максимумам в изображении вида "с высоты птичьего полета", а также получает длину оцениваемого края на основе этих вторых локальных максимумов. Затем на основе временного изменения в разности между длиной оцениваемого края и длиной опорного края, обнаруживается, осело или нет постороннее вещество на линзе. Определение "временного изменения" является идентичным определению "временного изменения" в процессе на основе информации формы разностного сигнала.

[0129] В случае оценки того, что степень временного изменения в разности между длиной оцениваемого края и длиной опорного края находится в предварительно определенном диапазоне определения, модуль обнаружения посторонних веществ оценивает то, что изображение, содержащее пикселы, которые соответствуют длине опорного края, является изображением, вызываемым посредством постороннего вещества, осевшего на линзе, и обнаруживает то, что постороннее вещество осело на линзе.

[0130] Более конкретно, модуль обнаружения посторонних веществ выполняет обработку сигналов, которая использует, по меньшей мере, полосовой фильтр для информации краев, содержащей линию края, сформированную в первое время, и на основе "локальных максимумов стандартной информации краев" после этой обработки сигналов получает "длину опорного края". Затем на основе локальных максимумов информации краев, вновь сформированной в одно или множество вторых времен после первого времени, получается "длина оцениваемого края", и на основе числа случаев, в которых оценивается то, что разность между длиной опорного края и длиной оцениваемого края в совместно используемых позициях в изображении вида "с высоты птичьего полета" находится в "предварительно определенном диапазоне решения", оценивает то, что изображение, которое включает в себя, пикселы, соответствующие длине оцениваемого края, является изображением, вызываемым посредством постороннего вещества, осевшего на линзе. Эта оценка может быть выполнена в ранее заданном, предварительно определенном интервале оценки. Признак и функциональные преимущества использования фильтра нижних частот в качестве полосового фильтра, а также и признак и функциональные преимущества способности модифицировать полосу частот отсечки/затухания фильтра нижних частот согласно состоянию обнаружения постороннего вещества, являются идентичными описанным ранее, и, следовательно, следует обратиться к этому описанию. "Стандартная информация краев" в процессе обнаружения посторонних веществ на основе информации краев соответствует "стандартной информации формы разностного сигнала", упомянутой ранее, "длина опорного края" - "опорному значению", упомянутому ранее, "длина оцениваемого края" "целевому значению оценки", упомянутому ранее, и "предварительно определенный диапазон оценки" для оценки "длины оцениваемого края" - "предварительно определенному диапазону оценки" для оценки "целевого значения оценки" в процессе с использованием стандартной информации формы сигнала, упомянутой ранее.

[0131] В предыдущих вариантах осуществления, показана примерная конфигурация, в которой модуль 34 оценки темноты оценивает, сейчас темно или нет, на основе захваченных изображений, захваченных посредством камеры 10, но ограничений на эту конфигурацию нет, и приемлема конфигурация, в которой оценка в отношении того, сейчас темно или нет, выполняется, например, на основе времени дня и т.п.

[0132] Камера 10 вариантов осуществления, поясненных выше, соответствует средству захвата изображений настоящего изобретения; датчик 20 скорости транспортного средства средству обнаружения скорости рассматриваемого транспортного средства настоящего изобретения; модуль 31 преобразования точки обзора - средству преобразования изображений настоящего изобретения; модуль 32 совмещения, модуль 33, 33а обнаружения трехмерных объектов, модуль 37 вычисления яркостного различия и модуль 38 обнаружения линий краев - средству обнаружения трехмерных объектов настоящего изобретения; модуль 34 оценки темноты - средству оценки темноты настоящего изобретения; модуль 35 обнаружения источников света - средству обнаружения источников света настоящего изобретения; и модуль 36, 36а модификации пороговых значений - средству управления настоящего изобретения.

ПОЯСНЕНИЯ ССЫЛОЧНЫХ ПОЗИЦИЙ

[0133] 1, 1а - устройство обнаружения трехмерных объектов

10 - камера

20 - датчик скорости транспортного средства

30, 30a - компьютер

31 - модуль преобразования точки обзора

32 - модуль совмещения

33, 33а - модуль обнаружения трехмерных объектов

34 - модуль оценки темноты

35 - модуль обнаружения источников света

36, 36а - модуль модификации пороговых значений

37 - модуль вычисления яркостного различия

38 - модуль обнаружения линий краев

a - угол обзора

A1, А2 - область обнаружения

CP - точка пересечения

DP - разностный пиксел

DWt, DWt' - формы разностных сигналов

DWt1-DWm, DWm+k-DWtn - малые области

L1, L2 - линии контакта с землей

La, Lb - линии в направлении сплющивания трехмерного объекта

P - захваченное изображение

PBt - изображение вида "с высоты птичьего полета"

PDt - разностное изображение

V1 - рассматриваемое транспортное средство

V2 - находящееся в смежной полосе транспортное средство

Изобретение относится к области обнаружения объектов в изображении, например, присутствующих в полосе движения транспортных средств. Техническим результатом является предотвращение ошибочного обнаружения транспортных средств, находящихся в смежной полосе движения, в условиях, когда грязь осела на линзе камеры. Предложено устройство обнаружения трехмерных объектов, содержащее: средство (33) обнаружения трехмерных объектов на основе захваченных изображений и вычисления скорости движения трехмерного объекта, средство (35) обнаружения источников света, соответствующего передней фаре другого транспортного средства, и средство (37) управления, которое в случае если не обнаружен источник света, соответствующий передней фаре другого транспортного средства, и дополнительно скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше заданного значения, останавливает обнаружение трехмерного объекта на основе информации формы разностного сигнала. 3 н. и 11 з.п. ф-лы, 23 ил.

1. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
средство захвата изображений, содержащее линзу для формирования видеоизображения сзади рассматриваемого транспортного средства;
средство обнаружения трехмерных объектов для обнаружения трехмерного объекта, присутствующего в предварительно определенной области обнаружения, на основе захваченных изображений, полученных средством захвата изображений, и для вычисления скорости движения трехмерного объекта;
средство обнаружения скорости рассматриваемого транспортного средства для обнаружения скорости движения рассматриваемого транспортного средства;
средство обнаружения источников света для обнаружения источника света передней фары, соответствующего передней фаре другого транспортного средства, в предварительно определенной области обнаружения источников света, которая включает в себя область обнаружения; и
средство управления, которое, в случае, если источник света передней фары не обнаруживается средством обнаружения источников света, сравнивает скорость движения трехмерного объекта и скорость движения рассматриваемого транспортного средства, и в случае, если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, осуществляет процесс управления, чтобы останавливать обнаружение трехмерного объекта.

2. Устройство обнаружения трехмерных объектов по п.1, в котором устройство обнаружения трехмерных объектов отличается тем, что дополнительно содержит:
средство оценки темноты для оценки того, сейчас темно или нет,
причем средство управления осуществляет процесс управления в случаях, в которых оценка темноты выполняется средством оценки темноты.

3. Устройство обнаружения трехмерных объектов по п.1 или 2, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство обнаружения трехмерных объектов имеет:
средство преобразования изображений для преобразования точки обзора захваченных изображений, полученных средством захвата изображений, в изображения вида "с высоты птичьего полета",
причем позиции изображений вида "с высоты птичьего полета" в разные моменты времени, полученных средством захвата изображений, совмещаются в виде "с высоты птичьего полета", и число пикселов, которые демонстрируют предварительно определенную разность в разностном изображении совмещенных изображений вида "с высоты птичьего полета", подсчитываются и используются для того, чтобы формировать частотное распределение, посредством этого формируя информацию формы разностного сигнала, трехмерный объект обнаруживается на основе информации формы разностного сигнала, и скорость движения трехмерного объекта вычисляется на основе временного изменения формы сигнала информации формы разностного сигнала.

4. Устройство обнаружения трехмерных объектов по п.3, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство обнаружения трехмерных объектов подсчитывает число пикселов, которые демонстрируют разность, равную или превышающую предварительно определенное первое пороговое значение в разностном изображении, и формирует частотное распределение, посредством этого формируя информацию формы разностного сигнала, и в случае, если пиковое значение информации формы разностного сигнала равно или превышает предварительно определенное второе пороговое значение, обнаруживает трехмерный объект на основе информации формы разностного сигнала; и
средство управления модифицирует первое пороговое значение или второе пороговое значение до высокого значения, посредством этого останавливая обнаружение трехмерного объекта.

5. Устройство обнаружения трехмерных объектов по п.3, в котором устройство обнаружения трехмерных объектов отличается тем, что:
во время формирования информации формы разностного сигнала средством обнаружения трехмерных объектов, средство управления останавливает обнаружение трехмерного объекта посредством указания средству обнаружения трехмерных объектов выводить меньшее значение из процесса подсчета числа пикселов, которые демонстрируют предварительно определенную разность в разностном изображении, и формирования частотного распределения.

6. Устройство обнаружения трехмерных объектов по п.3, в котором устройство обнаружения трехмерных объектов отличается тем, что дополнительно содержит:
средство обнаружения посторонних веществ, которое извлекает первый локальный максимум из информации формы разностного сигнала, сформированной в одно или множество первых времен посредством модуля обнаружения трехмерных объектов, и получает опорное значение на основе извлеченного первого локального максимума; извлекает второй локальный максимум, соответствующий первому локальному максимуму в изображении вида "с высоты птичьего полета", из информации формы разностного сигнала, вновь сформированной в одно или множество вторых времен после первого времени, и получает целевое значение оценки на основе рассматриваемого второго локального максимума; и обнаруживает, осело или нет постороннее вещество на линзе, на основе изменения во времени разности между целевым значением оценки и опорным значением;
причем средство управления останавливает обнаружение трехмерного объекта только в случае, если средство обнаружения посторонних веществ обнаруживает постороннее вещество, осевшее на линзе.

7. Устройство обнаружения трехмерных объектов по п.1 или 2, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство обнаружения трехмерных объектов имеет:
средство преобразования изображений для преобразования точки обзора захваченных изображений, полученных средством захвата изображений, в изображения вида "с высоты птичьего полета",
причем информация краев обнаруживается из изображений вида "с высоты птичьего полета", полученных из средства преобразования изображений, трехмерный объект обнаруживается на основе информации краев, и скорость движения трехмерного объекта вычисляется на основе временного изменения информации краев.

8. Устройство обнаружения трехмерных объектов по п.7, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство обнаружения трехмерных объектов обнаруживает, из изображений вида "с высоты птичьего полета", компоненту края, для которой яркостное различие между областями смежного пиксела равно или превышает первое пороговое значение, и в случае, если величина информации краев на основе компоненты края равна или превышает второе пороговое значение, обнаруживает трехмерный объект на основе информации краев,
причем средство управления останавливает обнаружение трехмерного объекта посредством модификации первого порогового значения или второго порогового значения до высокого значения.

9. Устройство обнаружения трехмерных объектов по п.7, в котором устройство обнаружения трехмерных объектов отличается тем, что:
в ходе обнаружения информации краев средством обнаружения трехмерных объектов, средство управления останавливает обнаружение трехмерного объекта посредством указания средству обнаружения трехмерных объектов выводить меньшее значение информации краев.

10. Устройство обнаружения трехмерных объектов по п. 7, в котором устройство обнаружения трехмерных объектов отличается тем, что дополнительно содержит:
средство обнаружения посторонних веществ, которое извлекает первый локальный максимум из информации краев, включающей в себя информацию о линиях краев, сформированных в одно или множество первых времен средством обнаружения трехмерных объектов, а также получает длину опорного края на основе рассматриваемого первого локального максимума; извлекает второй локальный максимум, соответствующий первому локальному максимуму в изображении вида "с высоты птичьего полета", из информации краев, вновь сформированной в одно или множество вторых времен после первого времени, и получает длину оцениваемого края на основе рассматриваемого второго локального максимума; и на основе изменения во времени разности между длиной оцениваемого края и длиной опорного края, обнаруживает, осело или нет постороннее вещество на линзе;
причем средство управления останавливает обнаружение трехмерного объекта только в случае, если средство обнаружения посторонних веществ обнаруживает постороннее вещество, осевшее на линзе.

11. Устройство обнаружения трехмерных объектов по п.1, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство обнаружения источников света многократно обнаруживает источники света в области обнаружения источников света, и в случае, если обнаружен источник света передней фары в течение предварительно определенного временного интервала, выводит результат обнаружения того, что обнаружен источник света передней фары, или в случае, если не обнаружен источник света передней фары в течение предварительно определенного временного интервала, выводит результат обнаружения того, что не обнаружен источник света передней фары.

12. Устройство обнаружения трехмерных объектов по п.2, в котором устройство обнаружения трехмерных объектов отличается тем, что:
средство оценки темноты многократно выполняет процесс оценки темноты для обнаружения источников света в области, отличающейся от области обнаружения источников света, чтобы посредством этого выполнять оценку в отношении темноты, и в случае, если предварительно определенное количество или более источников света обнаруживается в предварительно определенном временном интервале оценки, выполняет оценку темноты.

13. Способ обнаружения трехмерных объектов, в котором захваченные изображения, захваченные сзади рассматриваемого транспортного средства, подвергают преобразованию точки обзора в изображения вида "с высоты птичьего полета", информацию формы разностного сигнала формируют из изображений вида "с высоты птичьего полета", снятых в разные моменты времени, и трехмерный объект, присутствующий в предварительно определенной области обнаружения, обнаруживают на основе информации формы разностного сигнала, а также вычисляют скорость движения трехмерного объекта из временного изменения формы сигнала информации формы разностного сигнала, чтобы определить, является или нет трехмерный объект другим транспортным средством,
причем способ обнаружения трехмерных объектов отличается тем, что источник света передней фары, соответствующий передней фаре другого транспортного средства, обнаруживают в предварительно определенной области обнаружения источников света, которая включает в себя область обнаружения, при выполнении оценки в отношении темноты, и в случае, если имеется оценка темноты, и дополнительно, не обнаружен источник света передней фары, сравнивают скорость движения трехмерного объекта и скорость движения рассматриваемого транспортного средства; и в случае, если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, трехмерный объект обнаруживают на основе информации формы разностного сигнала, либо останавливают действие определения того, что трехмерный объект является другим транспортным средством.

14. Способ обнаружения трехмерных объектов, в котором захваченные изображения, захваченные сзади рассматриваемого транспортного средства, подвергают преобразованию точки обзора в изображения вида "с высоты птичьего полета", информацию краев обнаруживают из изображений вида "с высоты птичьего полета", трехмерный объект, присутствующий в предварительно определенной области обнаружения, обнаруживают на основе информации краев, и скорость движения трехмерного объекта вычисляют из временного изменения формы сигнала информации краев, чтобы определить на основе информации краев, является или нет трехмерный объект другим транспортным средством,
причем способ обнаружения трехмерных объектов отличается тем, что скорость движения трехмерного объекта вычисляют из временного изменения информации краев, источник света передней фары, соответствующий передней фаре другого транспортного средства, обнаруживают в предварительно определенной области обнаружения источников света, которая включает в себя область обнаружения, и при выполнении оценки в отношении темноты, и в случае, если имеется оценка темноты, и в случае, если оценивается то, что темно, и дополнительно, не обнаружен источник света передней фары, сравнивают скорость движения трехмерного объекта и скорость движения рассматриваемого транспортного средства; и в случае, если скорость движения трехмерного объекта равна или меньше скорости движения рассматриваемого транспортного средства, или разность между скоростью движения трехмерного объекта и скоростью движения рассматриваемого транспортного средства меньше предварительно определенного значения, трехмерный объект обнаруживают на основе информации краев, либо останавливают действие определения того, что трехмерный объект является другим транспортным средством.