УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ Российский патент 2015 года по МПК G06T1/00 G06T17/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов.

Настоящая заявка притязает на приоритет заявки на патент Японии № 2011-198007, поданной 12 сентября 2011 года, и для указанных стран, в которых признано включение по ссылке в документы, содержимое, раскрытое в вышеуказанной заявке, содержится в настоящей заявке по ссылке, и упомянутое содержимое составляет часть раскрытия сущности настоящей заявки.

УРОВЕНЬ ТЕХНИКИ

[0002] Предусмотрены устройства обнаружения, которые содержат камеру для формирования изображений стороны транспортного средства и которые обнаруживают трехмерные объекты, такие как кустарниковые насаждения за пределами дороги, посредством сопоставления шаблона, сохраненного заранее, с изображением, снятым посредством камеры (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская патентная публикация номер 2006-315482

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧА, РЕШАЕМАЯ ИЗОБРЕТЕНИЕМ

[0004] Тем не менее, согласно традиционной технологии, множество шаблонов различных кустарниковых насаждений и снега должно создаваться и сохраняться, чтобы обнаруживать естественные трехмерные объекты, такие как придорожные посадки и другие кустарниковые насаждения и снег, например, с намешанными вкраплениями грязи, и эти множество шаблонов должны сопоставляться с захваченными изображениями при оценке, что является проблематичным вследствие результирующей большой нагрузки при обработке. Другая проблема состоит в том, что затруднительно точно оценивать объекты посредством сопоставления с шаблоном, поскольку маловероятно, что формы естественных объектов, таких как кустарниковые насаждения на обочине или за пределами дороги, являются постоянными.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, состоит в том, чтобы предоставлять устройство обнаружения трехмерных объектов, имеющее повышенную точность оценки естественных трехмерных объектов, таких как естественные объекты, включающие в себя придорожные посадки и снег, на обочине дороги или за пределами дороги, и имеющее высокую точность обнаружения искусственных трехмерных объектов (неестественных объектов), таких как другие транспортные средства, которые являются целью обнаружения. Другая проблема состоит в том, чтобы предоставлять устройство обнаружения трехмерных объектов, допускающее предотвращение ошибочного обнаружения изображений естественных объектов, включающих в себя придорожные посадки и снег, на обочине дороги или за пределами дороги, в качестве изображений других транспортных средств, движущихся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство, и допускающее обнаружение других транспортных средств, движущихся в смежных полосах движения, с высокой точностью.

СРЕДСТВО РЕШЕНИЯ ЗАДАЧ

[0006] Настоящее изобретение разрешает проблемы, описанные выше, следующим образом: значение оценки нерегулярности вычисляется на основе информации форм разностных сигналов или информации краев захваченного изображения, и когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее, и наблюдается нерегулярность естественного объекта, обнаруженный трехмерный объект оценивается в качестве изображения естественного объекта, включающего в себя придорожные посадки и снег, расположенный вдоль дороги, по которой движется транспортное средство.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0007] Согласно настоящему изобретению, когда значение оценки нерегулярности, вычисленное из информации форм разностных сигналов или информации краев, вычисленной из захваченного изображения, равно или превышает предварительно определенное пороговое значение оценки нерегулярности, информация изображений может быть обнаружена как включающая в себя изображения естественных объектов, включающие в себя придорожные посадки и снег, которые являются нерегулярными. Этот результат обнаружения может быть использован для того, чтобы предотвращать ошибочное обнаружение изображений естественных объектов, включающих в себя придорожные посадки и снег, расположенный вдоль дороги, по которой движется транспортное средство, в качестве других транспортных средств, движущихся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство. Как результат, можно предоставлять устройство обнаружения трехмерных объектов, которое имеет высокую точность при обнаружении других транспортных средств, движущемся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является принципиальной схемой транспортного средства согласно варианту осуществления, в котором применяется устройство обнаружения трехмерных объектов настоящего изобретения;

Фиг. 2 является видом сверху, показывающим состояние движения транспортного средства на фиг. 1 (обнаружение трехмерных объектов из информации форм разностных сигналов);

Фиг. 3 является блок-схемой, показывающей подробности контроллера по фиг. 1;

Фиг. 4 иллюстрирует схему процесса модуля позиционного совмещения по фиг. 3, при этом (a) является видом сверху, показывающим состояние движения транспортного средства, а (b) является изображением, показывающим схему позиционного совмещения;

Фиг. 5 является схематичным чертежом, показывающим способ, которым формируются формы разностных сигналов посредством модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 6 является схемой, показывающей малые области, разделенные посредством модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 7 является схемой, показывающей пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 8 является схемой, показывающей взвешивание посредством модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 9 иллюстрирует процесс посредством модуля обнаружения размытостей по фиг. 3 и процесс вычисления форм разностных сигналов для него;

Фиг. 10 является схемой, показывающей другой пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 11 является блок-схемой последовательности операций способа (первая часть), показывающей способ обнаружения трехмерных объектов, который использует информацию форм разностных сигналов и который осуществляется посредством модуля преобразования точки обзора, модуля позиционного совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 12 является блок-схемой последовательности операций способа (вторая часть), показывающей способ обнаружения трехмерных объектов, который использует информацию форм разностных сигналов и который осуществляется посредством модуля преобразования точки обзора, модуля позиционного совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 13 иллюстрирует состояние движения транспортного средства по фиг. 1 (обнаружение трехмерных объектов из информации краев), при этом (a) является видом сверху, показывающим позиционную взаимосвязь областей обнаружения и т.п., а (b) является видом в перспективе, показывающим позиционную взаимосвязь областей обнаружения и т.п. в реальном пространстве;

Фиг. 14 иллюстрирует действие контроллера яркостного различия по фиг. 3, при этом (a) является схемой, показывающей позиционную взаимосвязь между линиями фокусировки, опорными линиями, точками фокусировки и опорными точками в изображении при виде с высоты птичьего полета, а (b) иллюстрирует позиционную взаимосвязь между линиями фокусировки, опорными линиями, точками фокусировки и опорными точками в реальном пространстве;

Фиг. 15 иллюстрирует конкретное действие контроллера яркостного различия по фиг. 3, при этом (a) иллюстрирует области обнаружения в изображении при виде с высоты птичьего полета, а (b) иллюстрирует позиционную взаимосвязь между линиями фокусировки, опорными линиями, точками фокусировки и опорными точками в изображении при виде с высоты птичьего полета;

Фиг. 16 иллюстрирует линию края и распределение яркости на линии края, при этом (a) иллюстрирует распределение яркости, когда существует трехмерный объект (транспортное средство) в области обнаружения, а (b) иллюстрирует распределение яркости, когда нет трехмерного объекта в области обнаружения;

Фиг. 17 является блок-схемой последовательности операций способа (первая часть), показывающей способ обнаружения трехмерных объектов, который использует информацию краев и который осуществляется посредством модуля преобразования точки обзора, контроллера яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 18 является блок-схемой последовательности операций способа (вторая часть), показывающей способ обнаружения трехмерных объектов, который использует информацию краев и который осуществляется посредством модуля преобразования точки обзора, контроллера яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3;

Фиг. 19 иллюстрирует пример изображения для описания действия обнаружения краев;

Фиг. 20 иллюстрирует области обнаружения, в которых появляются придорожные посадки;

Фиг. 21 является схемой, показывающей точки краев в данных изображений при виде с высоты птичьего полета области обнаружения;

Фиг. 22 является схемой, показывающей точки краев в данных изображений при виде с высоты птичьего полета, при этом (a) показывает точки краев транспортного средства (участок шины), (b) показывает точки краев придорожных посадок, а (c) показывает точки краев снега;

Фиг. 23 является первой блок-схемой последовательности операций способа, показывающей процесс оценки нерегулярности;

Фиг. 24 является второй блок-схемой последовательности операций способа, показывающей процесс оценки нерегулярности;

Фиг. 25 является другим примером блок-схемы последовательности операций способа, показывающей управляющую процедуру, включающую в себя процесс оценки естественных объектов;

Фиг. 26 является блок-схемой последовательности операций способа для описания управляющей процедуры для деактивации подавления обнаружения трехмерных объектов;

Фиг. 27 является первой схемой для описания процесса оценки стационарных объектов/движущихся объектов;

Фиг. 28 является второй схемой для описания процесса оценки стационарных объектов/движущихся объектов;

Фиг. 29 является третьей схемой для описания процесса оценки стационарных объектов/движущихся объектов; и

Фиг. 30 является блок-схемой последовательности операций способа, показывающей процесс оценки стационарных объектов/движущихся объектов.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0009] Далее описывается устройство 1 обнаружения трехмерных объектов первого варианта осуществления.

Фиг. 1 является принципиальной схемой транспортного средства согласно варианту осуществления, в котором применяется устройство 1 обнаружения трехмерных объектов настоящего изобретения, при этом устройство 1 обнаружения трехмерных объектов настоящего примера является устройством для обнаружения других транспортных средств в качестве помех, если водитель транспортного средства V должен обращать внимание на другое транспортное средство в ходе вождения, например, имеется вероятность контакта, когда транспортное средство V сменяет полосу движения. Устройство 1 обнаружения трехмерных объектов настоящего примера, в частности, обнаруживает другие транспортные средства, движущиеся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство (ниже упоминаются просто в качестве смежных полос движения). Устройство 1 обнаружения трехмерных объектов настоящего примера также может вычислять проезжаемое расстояние и скорость движения обнаруженных других транспортных средств. Следовательно, пример, описанный ниже, является примером, в котором устройство 1 обнаружения трехмерных объектов устанавливается в транспортном средстве V, и другие транспортные средства, движущиеся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство V, обнаруживаются из числа трехмерных объектов, обнаруженных в периферии транспортного средства. Как показано на фиг. 1, устройство 1 обнаружения трехмерных объектов настоящего примера содержит камеру 10, датчик 20 скорости транспортного средства и компьютер 30.

[0010] Камера 10 присоединена к транспортному средству в местоположении на высоте h в задней части транспортного средства V таким образом, что оптическая ось находится под углом θ вниз от горизонтали, как показано на фиг. 1. Из этой позиции, камера 10 захватывает изображения предварительно определенных областей в окружении, окружающем транспортное средство V. В настоящем варианте осуществления, предусмотрена одна камера 10 для того, чтобы обнаруживать трехмерные объекты позади транспортного средства, но другая камера для получения изображений периферии транспортного средства, например, также может быть предусмотрена для других вариантов применения. Например, датчик 20 скорости транспортного средства обнаруживает скорость движения транспортного средства V, и скорость транспортного средства вычисляется из скорости вращения колес транспортного средства, обнаруженной посредством датчика скорости вращения колес транспортного средства для считывания скорости вращения колес транспортного средства. Компьютер 30 обнаруживает трехмерные объекты позади транспортного средства и в настоящем варианте осуществления вычисляет проезжаемое расстояние и скорость движения этих трехмерных объектов.

[0011] Фиг. 2 является видом сверху, показывающим состояние движения транспортного средства V по фиг. 1. Как показано на этом чертеже, камера 10 формирует изображение задней части транспортного средства под предварительно определенным углом a обзора. В это время, угол a обзора камеры 10 задается равным такому углу обзора, что может формироваться изображение левой и правой полос движения в дополнение к полосе движения, на которой движется транспортное средство V. Область, изображение которой может формироваться и которая находится позади транспортного средства V, включает в себя целевые области A1, A2 обнаружения на смежных полосах движения, смежных слева и справа от полосы движения, по которой движется транспортное средство V.

[0012] Фиг. 3 является блок-схемой, показывающей подробности компьютера 30 по фиг. 1. На фиг. 3, камера 10 и датчик 20 скорости транспортного средства также показаны для того, чтобы предоставлять понятную иллюстрацию взаимных соединений.

[0013] Компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 позиционного совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 задания областей обнаружения и модуль 40 обнаружения размытостей, как показано на фиг. 3. Компьютер 30 настоящего варианта осуществления имеет конфигурацию, связанную с блоком обнаружения трехмерных объектов, который использует информацию форм разностных сигналов. Компьютер 30 настоящего варианта осуществления также может иметь конфигурацию, связанную с блоком обнаружения трехмерных объектов, который использует информацию краев. В этом случае, конфигурация A блока, сконфигурированного из модуля 32 позиционного совмещения и модуля 33 обнаружения трехмерных объектов, и конфигурация B блока, сконфигурированного из контроллера 35 яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов, обведенных пунктирными линиями, могут меняться местами в конфигурации, показанной на фиг. 3. Как должно быть очевидным, также можно включать как конфигурацию A блока, так и конфигурацию B блока, выполнять обнаружение трехмерных объектов с использованием информации форм разностных сигналов, а также выполнять обнаружение трехмерных объектов с использованием информации краев. Например, когда включены конфигурация A блока и конфигурация B блока, можно активировать одну из конфигурации A блока или конфигурации B блока в соответствии с такими факторами внешней среды, как яркость. Эти конфигурации описываются ниже.

[0014] ОБНАРУЖЕНИЕ ТРЕХМЕРНЫХ ОБЪЕКТОВ ИЗ ИНФОРМАЦИИ ФОРМ РАЗНОСТНЫХ СИГНАЛОВ

Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления обнаруживает трехмерные объекты, расположенные в области A1 обнаружения в правой смежной полосе движения позади транспортного средства или в области A2 обнаружения в левой смежной полосе движения позади транспортного средства, на основе информации изображений, полученной посредством монокулярной камеры 10 для формирования изображений области позади транспортного средства. Модуль 34 задания областей обнаружения задает области A1, A2 обнаружения слева и справа, соответственно, в задней части транспортного средства V, которые находятся в информации захваченных изображений. Позиции этих областей A1, A2 обнаружения не ограничены конкретным образом и могут задаваться надлежащим образом согласно технологическому режиму.

[0015] Далее описывается модуль преобразования точки обзора. Модуль 31 преобразования точки обзора вводит захваченные данные изображений предварительно определенной области, полученные посредством формирования изображений посредством камеры 10, и преобразует точку обзора введенных захваченных данных изображений в данные изображений при виде с высоты птичьего полета, которые наблюдаются при просмотре с высоты птичьего полета. Такой вид с высоты птичьего полета представляет собой то, что должно быть видно с точки зрения воображаемой камеры, смотрящей вертикально вниз, например, с воздуха. Это преобразование точки обзора может выполняться, например, так, как раскрыто в выложенной публикации патента Японии № 2008-219063. Причина преобразования захваченных данных изображений в данные изображений при виде с высоты птичьего полета состоит в том, что можно различать между плоскими объектами и трехмерными объектами на основе такого принципа, что вертикальные края, уникальные для трехмерных объектов, преобразуются в группы прямых линий, проходящих через конкретные фиксированные точки, посредством преобразования точки обзора в данные изображений при виде с высоты птичьего полета. Результаты процесса преобразования изображений посредством модуля 31 преобразования точки обзора также используются при обнаружении трехмерных объектов из информации краев, описанном в дальнейшем.

[0016] Модуль 32 позиционного совмещения последовательно вводит данные изображений с высоты птичьего полета, полученные посредством преобразования точки обзора модуля 31 преобразования точки обзора, и совмещает позицию введенных данных изображений с высоты птичьего полета в разное время. Фиг. 4 иллюстрирует схему процесса модуля 32 позиционного совмещения, при этом (a) является видом сверху, показывающим состояние движения транспортного средства, а (b) является изображением, показывающим схему позиционного совмещения.

[0017] Как показано на фиг. 4(a), транспортное средство V в текущее время размещается в V1, а транспортное средство V в непосредственно предшествующий момент времени раньше размещается в V2. Другое транспортное средство VX движется параллельно транспортному средству V в позиции позади транспортного средства V, другое транспортное средство VX в текущее время размещается в V3, и другое транспортное средство VX в непосредственно предшествующий момент времени размещается в V4. Кроме того, транспортное средство V перемещается на расстояние d за один момент времени. Термин "непосредственно предшествующий момент времени" может означать время в прошлом от текущего времени с длительностью, устанавливаемой заранее (например, один цикл управления), либо он может означать время в прошлом с любой требуемой длительностью.

[0018] В этом состоянии, изображение PB_t при виде с высоты птичьего полета в текущее время является таким, как показано на фиг. 4(b). В изображении PB_t при виде с высоты птичьего полета белые линии дорожной разметки, нарисованные на дороге, являются прямоугольными и находятся в состоянии сравнительно точной видимости сверху. Тем не менее, позиция другого транспортного средства VX в позиции V3 начинает попадать в изображение. Аналогично, в изображении PBt-1 при виде с высоты птичьего полета в непосредственно предшествующий момент времени, белые линии дорожной разметки, нарисованные на дороге, являются прямоугольными и находятся в состоянии сравнительно точной видимости сверху, но другое транспортное средство в позиции V4 начинает попадать в изображение. Как пояснено выше, это обусловлено тем, что вертикальные края трехмерных объектов (помимо вертикальных краев посредством строгого задания, они также включают в себя края, выступающие в сплошном пространстве от поверхности дороги) выглядят в качестве групп прямых линий вдоль направления попадания в поле зрения вследствие процесса преобразования точки обзора в данные изображений при виде с высоты птичьего полета, в то время как плоские изображения на поверхности дороги не содержат вертикальные края и, следовательно, не попадают в поле зрения, даже если точка обзора преобразуется.

[0019] Модуль 32 позиционного совмещения реализует позиционное совмещение изображений PB_t, PB_t-1 при виде с высоты птичьего полета, описанных выше с точки зрения данных. В это время, модуль 32 позиционного совмещения смещает изображение PBt-1 при виде с высоты птичьего полета в непосредственно предшествующий момент времени и инструктирует совпадение позиции с изображением PB_t-1 при виде с высоты птичьего полета в текущее время. Левое изображение и центральное изображение на фиг. 4(b) показывают состояние, смещенное на проезжаемое расстояние d′. Величина d′ смещения является величиной перемещения в данных изображений при виде с высоты птичьего полета, соответствующих фактическому проезжаемому расстоянию d транспортного средства, показанного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и на основе длительности от непосредственно предшествующего момента времени до текущего времени.

[0020] После позиционного совмещения модуль 32 позиционного совмещения находит разность между изображениями PB_t, PB_t-1 при виде с высоты птичьего полета и формирует данные разностного изображения PD_t. Пикселное значение разностного изображения PD_t может составлять абсолютное значение разности в пикселных значениях между изображениями PB_t, PB_t-1 при виде с высоты птичьего полета, или, чтобы соответствовать изменениям в окружении освещения, оно может составлять 1, когда абсолютное значение превышает предварительно определенное значение p, и 0, когда абсолютное значение не превышает предварительно определенное значение. Правое изображение на фиг. 4(b) представляет собой разностное изображение PD_t.

[0021] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерные объекты на основе данных разностного изображения PD_t, показанного на фиг. 4(b). В это время, модуль 33 обнаружения трехмерных объектов также вычисляет проезжаемое расстояние трехмерных объектов в реальном пространстве. Когда обнаруживается трехмерный объект, и вычисляется проезжаемое расстояние, модуль 33 обнаружения трехмерных объектов сначала формирует форму разностного сигнала. Проезжаемое расстояние в единицу времени для трехмерного объекта используется для того, чтобы вычислять скорость движения трехмерного объекта. Скорость движения трехмерного объекта затем может быть использована для того, чтобы оценивать то, является или нет трехмерный объект транспортным средством.

[0022] При формировании формы разностного сигнала модуль 33 обнаружения трехмерных объектов настоящего варианта осуществления задает область обнаружения в разностном изображении PD_t. Устройство 1 обнаружения трехмерных объектов настоящего примера обнаруживает другие транспортные средства, движущиеся в полосах движения, смежных с полосой движения, по которой движется транспортное средство V, в качестве целей обнаружения, если водитель транспортного средства V должен обращать внимание на другое транспортное средство, и, в частности, если имеется вероятность контакта, когда транспортное средство V сменяет полосу движения. Следовательно, в настоящем примере обнаружения трехмерных объектов на основе информации изображений, две области обнаружения в изображении, полученном посредством камеры 10, задаются справа и слева от транспортного средства V. В частности, в настоящем варианте осуществления, прямоугольные области A1, A2 обнаружения задаются в областях слева и справа и позади транспортного средства V, как показано на фиг. 2. Другие транспортные средства, обнаруженные в этих областях A1, A2 обнаружения, обнаруживаются в качестве помех, движущихся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство V. Эти области A1, A2 обнаружения могут задаваться из относительных позиций относительно транспортного средства V, или они могут задаваться с использованием позиций белых линий дорожной разметки в качестве опорных. Когда они задаются, например, с использованием позиций белых линий дорожной разметки в качестве опорных, устройство 1 обнаружения трехмерных объектов может использовать существующие технологии распознавания белых линий дорожной разметки и т.п.

[0023] Модуль 33 обнаружения трехмерных объектов распознает границы заданных областей A1, A2 обнаружения, которые находятся около транспортного средства V (границы, идущие вдоль направления движения), в качестве линий L1, L2 на земной поверхности (фиг. 2). В общем, линия на земной поверхности является линией, на которой трехмерный объект находится в контакте с поверхностью земли, но в настоящем варианте осуществления, линии на земной поверхности задаются способом, описанным выше, а не в качестве линий контакта с поверхностью земли. Исходя из опыта, разность между линиями на земной поверхности согласно настоящему варианту осуществления и линиями на земной поверхности, найденными из исходных позиций других транспортных средств VX, не является слишком большой в этих случаях, и на практике проблемы отсутствуют.

[0024] Фиг. 5 является схематичным чертежом, показывающим способ, которым формируются формы разностных сигналов посредством модуля 33 обнаружения трехмерных объектов, показанного на фиг. 3. Модуль 33 обнаружения трехмерных объектов формирует форму DW_t разностного сигнала из участков, которые являются эквивалентными областям A1, A2 обнаружения в разностном изображении PD_t (правом изображении по фиг. 4(b)), вычисленным посредством модуля 32 позиционного совмещения. В это время, модуль 33 обнаружения трехмерных объектов формирует форму DW_t разностного сигнала вдоль направления попадания в поле зрения трехмерного объекта посредством преобразования точки обзора. В примере, показанном на фиг. 5, описание для удобства использует только область A2 обнаружения.

[0025] В качестве конкретного описания, модуль 33 обнаружения трехмерных объектов задает линию La вдоль направления, в котором попадает в поле зрения трехмерный объект, в данных формы DW_t разностного сигнала. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, представляющих предварительно определенные разности вдоль линии La. Разностные пикселы DP, представляющие предварительно определенные разности в данном документе, являются пикселами, превышающими предварительно определенное пороговое значение, когда пикселное значение формы DW_t разностного сигнала является абсолютным значением разности между пикселными значениями изображений PB_t, PB_t-1 с высоты птичьего полета, и разностные пикселы DP являются пикселами, представляющими 1, когда пикселное значение формы DW_t разностного сигнала выражается как 0, 1.

[0026] После подсчета числа разностных пикселов DP модуль 33 обнаружения трехмерных объектов находит точку CP пересечения линии La и линии L1 на земной поверхности. Модуль 33 обнаружения трехмерных объектов коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, т.е. позицию оси сверху вниз в правой части фиг. 5 на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси слева направо в правой части фиг. 5 из подсчитанного числа и определяет координаты в качестве подсчитанных чисел в точках CP пересечения.

[0027] Модуль 33 обнаружения трехмерных объектов продолжает аналогично задавать линии Lb, Lc,..., вдоль направления, в котором попадает в поле зрения трехмерный объект, подсчитывать число разностных пикселов DP, определять позицию на горизонтальной оси на основе позиции точек CP пересечения и определять позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP). Модуль 33 обнаружения трехмерных объектов формирует форму DW_t разностного сигнала, как показано в правой части фиг. 5, посредством последовательного повторения вышеуказанного процесса и создания частотного распределения.

[0028] Как показано в левой части фиг. 5, линии La и Lb в направлении попадания в поле зрения трехмерного объекта перекрывают область A1 обнаружения на разных расстояниях. Следовательно, при условии, что область A1 обнаружения заполнена разностными пикселами DP, линия La имеет больше разностных пикселов DP, чем линия Lb. Следовательно, при определении позиции на вертикальной оси из подсчитанного числа разностных пикселов DP, модуль 33 обнаружения трехмерных объектов нормализует позицию на вертикальной оси на основе расстояния, посредством которого перекрываются линии La, Lb в направлении попадания в поле зрения трехмерного объекта и область A1 обнаружения. В качестве конкретного примера, имеется шесть разностных пикселов DP на линии La в левой части фиг. 5, и на линии Lb имеется пять разностных пикселов DP. Следовательно, при определении позиции на вертикальной оси из подсчитанного числа на фиг. 5, модуль 33 обнаружения трехмерных объектов нормализует позицию на вертикальной оси посредством такого способа, как деление подсчитанного числа на расстояние перекрытия. Значения формы DW_t разностного сигнала, которые соответствуют линиям La, Lb в направлении попадания в поле зрения трехмерного объекта, в силу этого практически равны, как показано в форме DW_t разностного сигнала.

[0029] После того, как формируется форма DW_t разностного сигнала, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние посредством задания контраста с формой DW_t-1 разностного сигнала в непосредственно предшествующий момент времени. В частности, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из изменения во времени между формами DW_t, DW_t-1 разностных сигналов.

[0030] В качестве более подробного описания, модуль 33 обнаружения трехмерных объектов разделяет форму DW_t разностного сигнала на множество малых областей DW_t1-DW_tn (n является любым целым числом, равным 2 или более), как показано на фиг. 6. Фиг. 6 является схемой, показывающей малые области DW_t1-DW_tn, разделенные посредством модуля 33 обнаружения трехмерных объектов. Малые области DW_t1-DW_tn разделяются, например, таким образом, что они перекрывают друг друга, как показано на фиг. 6. Например, малая область DW_t1 и малая область DW_t2 перекрываются, и малая область DW_t2 и малая область DW_t3 перекрываются.

[0031] Затем, модуль 33 обнаружения трехмерных объектов находит величину смещения (проезжаемое расстояние из формы разностного сигнала вдоль горизонтальной оси (сверху вниз на фиг. 6)) для каждой из малых областей DW_t1-DW_tn. Величина смещения в данном документе находится из разности между формой DW_t-1 разностного сигнала в непосредственно предшествующий момент времени и формой DW_t разностного сигнала в текущее время (расстояния вдоль горизонтальной оси). После перемещения формы DW_t-1 разностного сигнала в непосредственно предшествующий момент времени вдоль горизонтальной оси для каждой из малых областей DW_t1-DW_tn в это время, модуль 33 обнаружения трехмерных объектов определяет позицию (вдоль горизонтальной оси), в которой ошибки для формы DW_t разностного сигнала в текущее время являются минимальными, и находит величину перемещения по горизонтальной оси между исходной позицией формы DW_t-1 разностного сигнала и позицией, в которой ошибки являются минимальными, в качестве величины смещения. Модуль 33 обнаружения трехмерных объектов затем подсчитывает и составляет гистограмму величин смещения, найденных для каждой из малых областей DW_t1-DW_tn.

[0032] Фиг. 7 является схемой, показывающей пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Некоторое варьирование возникает в величинах смещения, которые являются величинами перемещения, которые дают в результате минимальные ошибки между малыми областями DW_t1-DW_tn и формой DW_t-1 разностного сигнала в непосредственно предшествующий момент времени, как показано на фиг. 7. Следовательно, модуль 33 обнаружения трехмерных объектов составляет гистограмму величин смещения, включающих в себя это варьирование, и вычисляет проезжаемое расстояние из гистограммы. В это время, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта из максимальных значений гистограммы. В частности, модуль 33 обнаружения трехмерных объектов в примере, показанном на фиг. 7, вычисляет величину смещения, которая дает в результате максимальные значения гистограммы, в качестве проезжаемого расстояния τ*. Это проезжаемое расстояние τ* является относительным проезжаемым расстоянием другого транспортного средства VX относительно транспортного средства V. Следовательно, при вычислении абсолютного проезжаемого расстояния, модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе результирующего проезжаемого расстояния τ* и сигнала из датчика 20 скорости транспортного средства.

[0033] При создании гистограммы модуль 33 обнаружения трехмерных объектов может взвешивать каждую из множества малых областей DW_t1-DW_tn и может подсчитывать и составлять гистограмму величин смещения, найденных для каждой из малых областей DW_t1-DW_tn в соответствии со взвешиваниями. Фиг. 8 является схемой, показывающей взвешивание посредством модуля 33 обнаружения трехмерных объектов.

[0034] Малая область DW_m (m является целым числом, равным 1 или более и n-1 или менее) является плоской, как показано на фиг. 8. В частности, малая область DW_m представляет собой область, в которой существует наименьшая разность между максимальным значением и минимальным значением счетчика числа пикселов, представляющего предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов уменьшает взвешивание для этой малой области DW_m. Это обусловлено тем, что плоская малая область DW_m не имеет признаков, и имеется высокая вероятность большой ошибки в вычислении величины смещения.

[0035] Малая область DW_m+k (k является целым числом, равным n-m или менее) имеет существенную волнистость. В частности, малая область DW_m имеет значительные различия между максимальным значением и минимальным значением счетчика числа пикселов, представляющего предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этой малой области DW_m. Это обусловлено тем, что очень волнистая малая область DW_m+k имеет уникальные функции и высокую вероятность того, что величина смещения вычисляется точно. Такое взвешивание позволяет повышать точность вычисления проезжаемого расстояния.

[0036] Форма DW_t разностного сигнала разделяется на множество малых областей DW_t1-DW_tn в вышеописанном варианте осуществления, чтобы повышать точность вычисления проезжаемого расстояния, но она не должна обязательно разделяться на малые области DW_t1-DW_tn в случаях, которые не требуют большой точности вычисления проезжаемого расстояния. В таких случаях, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DW_t разностного сигнала, когда ошибка между формой DW_t разностного сигнала и формой DW_t-1 разностного сигнала является минимальной. В частности, способ нахождения величины смещения между формой DW_t-1 разностного сигнала в непосредственно предшествующий момент времени и формой DW_t разностного сигнала в текущее время не ограничивается подробностями, описанными выше.

[0037] Возвращаясь к фиг. 3, компьютер 30 содержит модуль 40 обнаружения размытостей. Модуль 40 обнаружения размытостей обнаруживает области, в которых размытости формируются из захваченных данных изображений, полученных посредством формирования изображений посредством камеры 10. Размытость представляет собой возникновение размазанности в CCD-датчике изображений и т.п., и, следовательно, модуль 40 обнаружения размытостей может исключаться, когда приспосабливаемая камера 10 использует CMOS-датчик изображений и т.п., в котором отсутствуют такие размытости.

[0038] Фиг. 9 является чертежом изображения для описания процесса посредством модуля 40 обнаружения размытостей и процесса вычисления формы DW_t разностного сигнала для этого. Во-первых, данные захваченного изображения P, содержащего размытость S, вводятся в модуль 40 обнаружения размытостей. В это время, модуль 40 обнаружения размытостей обнаруживает размытость S из захваченного изображения P. Существуют различные способы обнаружения размытости S, но в случае стандартной камеры на основе прибора с зарядовой связью (CCD), например, размытость S возникает только в направлении вниз в изображении, начиная от источника света. Следовательно, в настоящем варианте осуществления выполняется поиск области, которая имеет значение яркости, равное предварительно определенному значению или больше, снизу изображения вверх, и которая является непрерывной в продольном направлении, и эти области указываются в качестве области возникновения размытости S.

[0039] Модуль 40 обнаружения размытостей создает данные изображения SP с размытостью, в котором пикселное значение местоположений возникновения размытостей S равно 1, а все остальные местоположения имеют значение 0. После создания данных модуль 40 обнаружения размытостей передает данные изображения SP с размытостью в модуль 31 преобразования точки обзора. Модуль 31 преобразования точки обзора, в который вводятся данные изображения SP с размытостью, затем преобразует точку обзора этих данных в вид с высоты птичьего полета. Модуль 31 преобразования точки обзора за счет этого создает данные изображения SB_t при виде с высоты птичьего полета с размытостью. После создания этих данных модуль 31 преобразования точки обзора передает данные изображения SB_t при виде с высоты птичьего полета с размытостью в модуль 32 позиционного совмещения. Модуль 31 преобразования точки обзора передает данные изображения SB_t-1 при виде с высоты птичьего полета с размытостью в непосредственно предшествующий момент времени в модуль 32 позиционного совмещения.

[0040] Модуль 32 позиционного совмещения совмещает позиции изображений SB_t, SB_t-1 при виде с высоты птичьего полета с размытостью в данных. Конкретное позиционное совмещение является идентичным тому, когда позиции изображений PB_t, PB_t-1 при виде с высоты птичьего полета совмещаются в данных. После позиционного совмещения модуль 32 позиционного совмещения находит логическую сумму областей возникновения размытостей S изображений SB_t, SB_t-1 при виде с высоты птичьего полета с размытостью. Модуль 32 позиционного совмещения за счет этого создает данные изображения MP с маской. После создания этих данных модуль 32 позиционного совмещения передает данные изображения MP с маской в модуль 33 обнаружения трехмерных объектов.

[0041] Модуль 33 обнаружения трехмерных объектов обнуляет подсчитанное число частотного распределения для местоположения в изображении MP с маской, эквивалентного области возникновения размытости S. В частности, когда формируется форма DW_t разностного сигнала, к примеру, форма DW_t разностного сигнала, показанная на фиг. 9, модуль 33 обнаружения трехмерных объектов задает подсчитанное число SC, получающееся в результате размытости S, равным нулю и формирует скорректированную форму DW_t′ разностного сигнала.

[0042] Модуль 33 обнаружения трехмерных объектов в настоящем варианте осуществления находит скорость движения транспортного средства V (камера 10) и из скорости движения находит величины смещения для стационарных объектов. После нахождения величин смещения стационарных объектов модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта при игнорировании величин смещения, которые соответствуют стационарным объектам, в максимальных значениях гистограммы.

[0043] Фиг. 10 является схемой, показывающей другой пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Когда другой стационарный объект помимо другого транспортного средства VX появляется в пределах угла обзора камеры 10, два максимальных значения τ1, τ2 возникают на результирующей гистограмме. В этом случае, любое из двух максимальных значений τ1, τ2 является величиной смещения стационарного объекта. Следовательно, модуль 33 обнаружения трехмерных объектов находит величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, которое соответствует величине смещения, и использует другое оставшееся максимальное значение для того, чтобы вычислять проезжаемое расстояние трехмерного объекта.

[0044] Даже при игнорировании величины смещения, соответствующей стационарному объекту, множество других транспортных средств VX могут находиться в пределах угла обзора камеры 10 в случаях множества максимальных значений. Тем не менее, чрезвычайно редко множество других транспортных средств VX находится в областях A1, A2 обнаружения. Следовательно, модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния.

[0045] Далее описывается процедура обнаружения трехмерных объектов из информации форм разностных сигналов. Фиг. 11 и 12 являются блок-схемами последовательности операций способа, показывающими процедуру обнаружения трехмерных объектов настоящего варианта осуществления. Во-первых, на этапе S0, компьютер 30 задает области обнаружения на основе предварительно определенного правила, как показано на фиг. 11. Способ задания областей обнаружения подробно описывается далее. Компьютер 30 затем вводит данные захваченного изображения P из камеры 10 и создает изображение SP с размытостью посредством модуля 40 обнаружения размытостей (S1). Затем, модуль 31 преобразования точки обзора создает изображение PB_t при виде с высоты птичьего полета из данных захваченного изображения P из камеры 10 и создает данные изображения SB_t при виде с высоты птичьего полета с размытостью из данных изображения SP с размытостью (S2).

[0046] Модуль 33 обнаружения трехмерных объектов затем позиционно совмещает данные изображения PB_t при виде с высоты птичьего полета и данные изображения PB_t-1 при виде с высоты птичьего полета в непосредственно предшествующий момент времени, а также позиционно совмещает данные изображения SB_t при виде с высоты птичьего полета с размытостью и изображения SB_t-1 при виде с высоты птичьего полета с размытостью в непосредственно предшествующий момент времени (S3). После этого позиционного совмещения модуль 33 обнаружения трехмерных объектов создает данные разностного изображения PD_t и создает данные изображения MP с маской (S4). Модуль 33 обнаружения трехмерных объектов затем создает форму DW_t разностного сигнала из данных разностного изображения PD_t и данных разностного изображения PD_t-1 в непосредственно предшествующий момент времени (S5). После создания формы DW_t разностного сигнала модуль 33 обнаружения трехмерных объектов задает нуль в качестве подсчитанного числа, которое соответствует области возникновения размытости S в форме DW_t разностного сигнала, и подавляет эффект от размытости S (S6).

[0047] Модуль 33 обнаружения трехмерных объектов затем оценивает то, равен или превышает либо нет пик формы DW_t разностного сигнала первое пороговое значение α (S7). Когда пик формы DW_t разностного сигнала не равен или превышает первое пороговое значение α, и в частности, когда фактически отсутствует разность, предполагается, что в захваченном изображении P отсутствует трехмерный объект. Следовательно, после оценки того, что пик формы DW_t разностного сигнала не равен или превышает первое пороговое значение α (S7: "Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что отсутствует трехмерный объект, и что отсутствует другое транспортное средство в качестве помехи (фиг. 12: S16). Процесс, показанный на фиг. 11 и 12, после этого завершается.

[0048] После оценки того, что пик формы DW_t разностного сигнала равен или превышает первое пороговое значение α (S7: "Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что существует трехмерный объект, и разделяет форму DW_t разностного сигнала на множество малых областей DW_t1-DW_tn (S8). Модуль 33 обнаружения трехмерных объектов затем взвешивает каждую из малых областей DW_t1-DW_tn (S9). Модуль 33 обнаружения трехмерных объектов после этого вычисляет величину смещения для каждой из малых областей DW_t1-DW_tn (S10) и создает гистограмму с учетом взвешивания (S11).

[0049] На основе гистограммы, модуль 33 обнаружения трехмерных объектов затем вычисляет относительное проезжаемое расстояние (S12), которое является проезжаемым расстоянием трехмерного объекта относительно транспортного средства V. Модуль 33 обнаружения трехмерных объектов затем вычисляет абсолютное проезжаемое расстояние трехмерного объекта из относительного проезжаемого расстояния (S13). В это время, модуль 33 обнаружения трехмерных объектов временно различает относительное проезжаемое расстояние, чтобы вычислять относительную скорость движения, и вычисляет абсолютную скорость движения с учетом скорости транспортного средства, обнаруженной посредством датчика 20 скорости транспортного средства.

[0050] Модуль 33 обнаружения трехмерных объектов затем оценивает то, равна или превышает либо нет абсолютная скорость движения трехмерного объекта 10 км/ч, и равна или меньше либо нет относительная скорость движения трехмерного объекта относительно транспортного средства V +60 км/ч (S14). Когда любое из этих состояний удовлетворяется (S14: "Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект является другим транспортным средством VX (S15). Процесс, показанный на фиг. 11 и 12, после этого завершается. Когда ни одно из этих состояний не удовлетворяется (S14: "Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что отсутствует другое транспортное средство (S16). Процесс, показанный на фиг. 11 и 12, после этого завершается.

[0051] Области позади и позади транспортного средства V обозначаются как области A1, A2 обнаружения в настоящем варианте осуществления, и акцент делается на обнаружении других транспортных средств VX, движущихся в смежных полосах движения, смежных с полосой движения, по которой движется транспортное средство, на которые должно обращаться внимание в момент, когда движется транспортное средство V. Акцент делается, в частности, на том, имеется или нет вероятность контакта, когда транспортное средство V сменяет полосу движения. Это обусловлено тем, что когда транспортное средство V сменяет полосу движения, выполняется оценка того, имеется или нет вероятность контакта с другим транспортным средством VX, движущимся в смежной полосе движения, смежной с полосой движения, по которой движется транспортное средство. Следовательно, выполняется процесс на этапе S14. В частности, при условии, что система настоящего варианта осуществления активируется на высокоскоростных дорогах, когда скорость трехмерного объекта составляет меньше 10 км/ч, редко возникает проблема, если присутствует другое транспортное средство VX, поскольку оно размещается далеко позади транспортного средства V, когда транспортное средство V сменяет полосу движения. Аналогично, когда относительная скорость движения трехмерного объекта относительно транспортного средства V превышает +60 км/ч (т.е. когда трехмерный объект движется со скоростью, более чем на 60 км/ч, превышающей скорость транспортного средства V), редко возникает проблема во время смены полосы движения, поскольку объект движется впереди транспортного средства V. Следовательно, на этапе S14 это является эквивалентным оценке, имеется или нет другое VX, которое вызывает проблему во время смены полосы движения.

[0052] Оценка на этапе S14 того, равна или превышает либо нет абсолютная скорость движения трехмерного объекта 10 км/ч, и составляет либо нет относительная скорость движения трехмерного объекта относительно транспортного средства V +60 км/ч или меньше, имеет следующий эффект. Например, могут возникать случаи, когда ошибка в установке камеры 10 приводит к тому, что абсолютная скорость движения стационарного объекта обнаруживается равной нескольким км/ч. Следовательно, вероятность оценки того, что стационарный объект является другим транспортным средством VX, может быть уменьшена посредством оценки того, составляет либо нет скорость 10 км/ч или больше. Другая вероятность состоит в том, что шум может приводить к тому, что относительная скорость трехмерного объекта относительно транспортного средства V быть обнаруживается на скорости, превышающей +60 км/ч. Следовательно, вероятность ошибочного обнаружения вследствие шума может быть уменьшена посредством оценки того, составляет либо нет относительная скорость +60 км/ч или меньше.

[0053] Кроме того, другой вариант вместо процесса S14 заключается в том, чтобы оценивать то, что абсолютная скорость движения не является отрицательной или не равна 0 км/ч. Поскольку акцент делается на том, имеется или нет вероятность контакта, когда транспортное средство V сменяет полосу движения в настоящем варианте осуществления, звуковое предупреждение может выдаваться водителю транспортного средства, или эквивалентное предупреждению отображение может быть выполнено посредством предварительно определенного устройства отображения, когда другое транспортное средство VX обнаруживается на этапе S15.

[0054] Таким образом, согласно процедуре обнаружения трехмерных объектов из информации форм разностных сигналов в настоящем примере, форма DW_t разностного сигнала создается посредством подсчета и создания частотного распределения числа пикселов, которые представляют предварительно определенные разности в данных разностного изображения PD_t вдоль направления попадания в поле зрения трехмерного объекта посредством преобразования точки обзора. Пиксел, представляющий предварительно определенную разность в данных разностного изображения PD_t, является пикселом, который изменяется между изображениями в разные моменты времени; другими словами, пикселом в местоположении, в котором появляется трехмерный объект. Следовательно, форма DW_t разностного сигнала создается в местоположении, в котором появляется трехмерный объект, посредством подсчета и создания частотного распределения числа пикселов вдоль направления попадания в поле зрения трехмерного объекта. Форма DW_t разностного сигнала создается из информации направления высоты относительно трехмерного объекта, в частности, поскольку число пикселов подсчитывается вдоль направления попадания в поле зрения трехмерного объекта. Проезжаемое расстояние трехмерного объекта затем вычисляется из изменения во времени формы DW_t разностного сигнала, содержащей информацию направления высоты. Следовательно, обнаруженное местоположение до изменения во времени и обнаруженное местоположение после изменения во времени с большей вероятностью являются идентичным местоположением в трехмерном объекте, поскольку они указываются с включением информации направления высоты, проезжаемое расстояние может быть вычислено из изменения во времени в идентичном местоположении, и точность вычисления проезжаемого расстояния может повышаться, например, по сравнению со случаями, когда фокусируются только на перемещении одной точки.

[0055] Подсчитанное число частотного распределения задается равным нулю для местоположений в форме DW_t разностного сигнала, которые являются эквивалентными областям возникновения размытостей S. Области формы сигнала в форме DW_t разностного сигнала, которые создаются посредством размытости S, в силу этого могут удаляться, и может предотвращаться ошибочное обнаружение размытости S в качестве трехмерного объекта.

[0056] Проезжаемое расстояние трехмерного объекта вычисляется из величины смещения формы DW_t разностного сигнала, когда ошибка в форме DW_t разностного сигнала, созданной в другое время, является минимальной. Следовательно, проезжаемое расстояние может быть вычислено из величины смещения первичной информации, которая является формой сигнала, и затрат на вычисление, когда вычисление проезжаемого расстояния может подавляться.

[0057] Форма DW_t разностного сигнала, созданная в другое время, также разделяется на множество малых областей DW_t1-DW_tn. Таким образом, может быть получено множество форм сигналов, которые представляют различные местоположения трехмерного объекта, посредством разделения формы разностного сигнала на множество малых областей DW_t1-DW_tn. Проезжаемое расстояние трехмерного объекта вычисляется посредством нахождения величины смещения, когда соответствующие ошибки формы сигнала являются минимальными, находится для каждой из малых областей DW_t1-DW_tn, и подсчета и создания гистограммы величин смещения, найденных для каждой из малых областей DW_t1-DW_tn. Следовательно, величина смещения находится для каждого из местоположений трехмерного объекта, проезжаемое расстояние находится из множества величин смещения, и может повышаться точность вычисления проезжаемого расстояния.

[0058] Каждая из множества малых областей DW_t1-DW_tn взвешивается, и величины смещения, найденные для каждой из малых областей DW_t1-DW_tn, подсчитываются, чтобы создавать гистограмму в соответствии со взвешиваниями. Следовательно, проезжаемое расстояние может быть вычислено более надлежащим образом посредством увеличения взвешиваний характерных областей и уменьшения взвешиваний нехарактерных областей. Следовательно, может дополнительно повышаться точность вычисления проезжаемого расстояния.

[0059] В малых областях DW_t1-DW_tn формы DW_t разностного сигнала, чем больше разность между максимальными и минимальными значениями счетчика числа пикселов, представляющих предварительно определенные разности, тем больше взвешивание. Следовательно, чем больше волнистость в области с большей разностью между максимальными и минимальными значениями, тем больше взвешивание и меньше взвешивание в плоских областях с меньшей волнистостью. Области с большей волнистостью имеют величины смещения, которые точнее находятся с точки зрения формы, чем плоские области, и, следовательно, точность вычисления проезжаемого расстояния может повышаться посредством увеличения взвешиваний областей, имеющих большую разность между максимальными и минимальными значениями.

[0060] Проезжаемое расстояние трехмерного объекта также вычисляется из максимальных значений гистограммы, полученной посредством подсчета величин смещения, найденных для каждой из малых областей DW_t1-DW_tn. Следовательно, более высокоточное проезжаемое расстояние может быть вычислено из максимальных значений, даже когда существует варьирование между величинами смещения.

[0061] Поскольку находятся величины смещения для стационарных объектов, и эти величины смещения игнорируются, можно предотвращать вызывание снижения точности вычисления проезжаемого расстояния трехмерного объекта посредством стационарных объектов. Когда величина смещения, соответствующая стационарному объекту, игнорируется, и существует несколько максимальных значений, вычисление проезжаемого расстояния трехмерного объекта прекращается. Следовательно, можно предотвращать случаи, в которых вычисляется ошибочное проезжаемое расстояние, к примеру, случай с несколькими максимальными значениями.

[0062] В вышеприведенном варианте осуществления, скорость транспортного средства V оценивается на основе сигнала из датчика 20 скорости транспортного средства, но не ограничена этим; скорость транспортного средства может быть оценена из множества изображений в разные моменты времени. В этом случае, датчик скорости транспортного средства является необязательным, и может упрощаться конфигурация.

[0063] В вышеприведенном варианте осуществления, захваченное текущее изображение и изображение в непосредственно предшествующий момент времени преобразуются в виды с высоты птичьего полета, преобразованные виды с высоты птичьего полета позиционно совмещаются, чтобы создавать разностное изображение PD_t, и созданное разностное изображение PD_t оценивается вдоль направления попадания в поле зрения (направления попадания в поле зрения трехмерного объекта, когда захваченное изображение преобразуется в вид с высоты птичьего полета), чтобы создавать форму DW_t разностного сигнала, но настоящее изобретение не ограничено этим. Например, только изображение в непосредственно предшествующий момент времени может быть преобразовано в вид с высоты птичьего полета, вид может быть преобразован обратно в эквивалент захваченного изображения после того, как позиционно совмещен преобразованный вид с высоты птичьего полета, разностное изображение может быть создано из этого изображения и изображения в текущее время, и форма DW_t разностного сигнала может быть создана посредством оценки созданного разностного изображения вдоль направления, эквивалентного направлению попадания в поле зрения (т.е. направления, эквивалентного направлению попадания в поле зрения, преобразованному в направление в захваченном изображении). В частности, если изображение в текущее время и изображение в непосредственно предшествующий момент времени могут быть позиционно совмещены, разностное изображение PD_t может быть сформировано из разности позиционно совмещенных изображений, и разностное изображение PD_t может быть оценено вдоль направления попадания в поле зрения трехмерного объекта, когда изображение преобразовано в вид с высоты птичьего полета; совершенно необязательно создавать четкий вид с высоты птичьего полета.

[0064] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА ИЗ ИНФОРМАЦИИ КРАЕВ

Ниже приводится описание блока B обнаружения трехмерных объектов, который может быть активирован вместо блока A, показанного на фиг. 3, конфигурируется из контроллера 35 яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов и который использует информацию краев. Фиг. 13 иллюстрирует такие признаки, как диапазон формирования изображений камеры 10 на фиг. 3, при этом фиг. 13(a) является видом сверху, и фиг. 13(b) является видом в перспективе реального пространства позади транспортного средства V. Камера 10 имеет предварительно определенный угол a обзора, и формируется изображение области позади транспортного средства, включенной в этот предварительно определенный угол a обзора, как показано на фиг. 13(a). Угол a обзора камеры 10 задается таким образом, что диапазон формирования изображений камеры 10 включает в себя смежные полосы движения в дополнение к полосе движения, на которой движется транспортное средство V, аналогично случаю, показанному на фиг. 2.

[0065] Области A1, A2 обнаружения настоящего примера являются трапецеидальными при виде сверху (при просмотре с высоты птичьего полета), и позиции, размеры и формы областей A1, A2 обнаружения определяются на основе расстояний d1-d4. Области A1, A2 обнаружения примера, показанного на этом чертеже, не ограничены трапецеидальными формами и могут иметь другие формы, к примеру, прямоугольники при просмотре с высоты птичьего полета, как показано на фиг. 2. Модуль 34 задания областей обнаружения в настоящем варианте осуществления также может задавать области A1, A2 обнаружения посредством вышеописанного способа.

[0066] Расстояние d1 является расстоянием от транспортного средства V до линий L1, L2 на земной поверхности. Линии L1, L2 на земной поверхности являются линиями, на которых трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, по которой движется транспортное средство V, контактирует с поверхностью земли. В настоящем варианте осуществления, одна цель заключается в том, чтобы обнаруживать другие транспортные средства VX и т.п. (включающие в себя двухколесные транспортные средства и т.п.), движущиеся в левой и правой полосах движения, смежных с полосой движения транспортного средства V сзади и с боков от транспортного средства V. Следовательно, расстояние d1, которое является расстоянием до позиции линии L1 или L2 на земной поверхности другого транспортного средства VX, может быть определено практически фиксированным способом из расстояния d11 от транспортного средства V до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до оцененной позиции, в которой движется другое транспортное средство VX.

[0067] Расстояние d1 не ограничивается фиксированным определением и может быть переменным. В этом случае, компьютер 30 распознает позицию белой линии W дорожной разметки относительно транспортного средства V через технологию для распознавания белых линий дорожной разметки и т.п. и определяет расстояние d11 на основе позиции распознанной белой линии W дорожной разметки. Расстояние d1 может в силу этого задаваться переменным способом с использованием определенного расстояния d11. В нижеприведенном настоящем варианте осуществления, расстояние d1 определяется фиксировано, поскольку позиция, в которой движется другое транспортное средство VX (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой движется транспортное средство V (расстояние d11 от белой линии W дорожной разметки), определяются аппроксимированным способом.

[0068] Расстояние d2 является расстоянием, идущим в направлении движения транспортного средства от задней концевой части транспортного средства V. Расстояние d2 определяется таким образом, что области A1, A2 обнаружения попадают, по меньшей мере, в пределы угла a обзора камеры 10. В частности, в настоящем варианте осуществления, расстояние d2 задается таким образом, чтобы ограничивать диапазон, секционированный посредством угла a обзора. Расстояние d3 является расстоянием, которое представляет длину области A1 или A2 обнаружения в направлении движения транспортного средства. Это расстояние d3 определяется на основе размера трехмерного объекта, который является целью обнаружения. Поскольку целью обнаружения является другое транспортное средство VX и т.п. в настоящем варианте осуществления, расстояние d3 задается равным длине, которая включает в себя другое транспортное средство VX.

[0069] Расстояние d4 является расстоянием, представляющим высоту, заданную в реальном пространстве таким образом, что оно включает в себя шины другого транспортного средства VX и т.п., как показано на фиг. 13(b). В изображении при виде с высоты птичьего полета расстояние d4 является длиной, показанной на фиг. 13(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, которые находятся еще дальше после левой и правой смежных полос движения (т.е. через две полосы движения) в изображении при виде с высоты птичьего полета. Это обусловлено тем, что когда включены полосы движения, которые находятся через две полосы движения от транспортного средства V, не делается отличия в отношении того, другое транспортное средство VX присутствует в полосах движения, смежных слева и справа от белых линий дорожной разметки в полосе движения, по которой движется транспортное средство V, либо другое транспортное средство VX присутствует в полосах движения через две полосы движения.

[0070] Как описано выше, определяются расстояния d1-d4, и за счет этого определяются и позиции, размеры и формы областей A1, A2 обнаружения. В качестве конкретного описания, позиции верхних границ b1 трапецеидальных областей A1, A2 обнаружения определяются посредством расстояния d1. Начальные позиции C1 верхних границ b1 определяются посредством расстояния d2. Конечные позиции C2 верхних границ b1 определяются посредством расстояния d3. Боковые границы b2 трапецеидальных областей A1, A2 обнаружения определяются посредством прямых линий L3, идущих из камеры 10 в направлении начальных позиций C1. Аналогично, боковые границы b3 трапецеидальных областей A1, A2 обнаружения определяются посредством прямых линий L4, идущих из камеры 10 в направлении конечных позиций C2. Позиции нижних границ b4 трапецеидальных областей A1, A2 обнаружения определяются посредством расстояния d4. Таким образом, области, обведенные посредством границ b1-b4, составляют области A1, A2 обнаружения. Области A1, A2 обнаружения являются квадратами (прямоугольниками) с точки зрения реального пространства позади транспортного средства V, как показано на фиг. 13(b).

[0071] Возвращаясь к фиг. 3, модуль 31 преобразования точки обзора вводит захваченные данные изображений предварительно определенных областей, полученных посредством формирования изображений посредством камеры 10. Модуль 31 преобразования точки обзора выполняет процесс преобразования точки обзора для введенных захваченных данных изображений, преобразуя эти данные в данные изображений при виде с высоты птичьего полета, которые наблюдаются при просмотре с высоты птичьего полета. Такой вид с высоты птичьего полета представляет собой то, что должно быть видно с точки зрения воображаемой камеры, смотрящей вертикально вниз (или вниз под некоторым наклоном), например, сверху. Этот процесс преобразования точки обзора может быть выполнен посредством технологии, раскрытой, например, в выложенной публикации патента Японии № 2008-219063.

[0072] Контроллер 35 яркостного различия выполняет вычисление яркостного различия для данных изображений при виде с высоты птичьего полета, которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение при виде с высоты птичьего полета. Для каждой из множества позиций вдоль вертикальной воображаемой линии, идущей вертикально в реальном пространстве, контроллер 35 яркостного различия вычисляет яркостное различие между двумя пикселями около этих позиций. Контроллер 35 яркостного различия может вычислять яркостное различие либо посредством способа задания только одной вертикальной воображаемой линии, идущей вертикально в реальном пространстве, либо посредством способа задания двух вертикальных воображаемых линий.

[0073] Описывается конкретный способ задания двух вертикальных воображаемых линий. Для подвергнутого преобразованию точки обзора изображения при виде с высоты птичьего полета контроллер 35 яркостного различия задает первую вертикальную воображаемую линию, соответствующую сегменту линии, идущему вертикально в реальном пространстве и вторую вертикальную воображаемую линию, соответствующую сегменту линии, идущему вертикально в реальном пространстве, отличающуюся от первой вертикальной воображаемой линии. Контроллер 35 яркостного различия находит яркостные различия между точками на первой вертикальной воображаемой линии и точками на второй вертикальной воображаемой линии, непрерывно вдоль первой вертикальной воображаемой линии и второй вертикальной воображаемой линии. Ниже подробно описывается работа контроллера 35 яркостного различия.

[0074] Контроллер 35 яркостного различия задает первую вертикальную воображаемую линию La (ниже упоминается в качестве линии La фокусировки), которая соответствует сегменту линии, идущему вертикально в реальном пространстве, и которая проходит через область A1 обнаружения, как показано на фиг. 14(a). Контроллер 35 яркостного различия также задает вторую вертикальную воображаемую линию Lr (ниже упоминается в качестве опорной линии Lr), которая отличается от линии La фокусировки, которая соответствует сегменту линии, идущему вертикально в реальном пространстве, и которая проходит через область A1 обнаружения. Опорная линия Lr в данном документе задается в позиции, отделенной от линии La фокусировки на предварительно определенное расстояние в реальном пространстве. Линии, соответствующие сегментам линии, идущим вертикально в реальном пространстве, являются линиями, которые идут в радиальной компоновке от позиции Ps камеры 10 в изображении при виде с высоты птичьего полета. Эти линии, идущие в радиальной компоновке, являются линиями, идущими вдоль направления попадания в поле зрения трехмерного объекта при преобразовании в вид с высоты птичьего полета.

[0075] Контроллер 35 яркостного различия задает точку Pa фокусировки на линии La фокусировки (точку на первой вертикальной воображаемой линии). Контроллер 35 яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй вертикальной воображаемой линии). В реальном пространстве линия La фокусировки, точка Pa фокусировки, опорная линия Lr и опорная точка Pr имеют взаимосвязь, показанную на фиг. 14(b). Как очевидно из фиг. 14(b), линия La фокусировки и опорная линия Lr являются линиями, идущими вертикально в реальном пространстве, и точка Pa фокусировки и опорная точка Pr являются точками, заданными с практически идентичной высотой в реальном пространстве. Точка Pa фокусировки и опорная точка Pr не должны строго иметь идентичную высоту, и ошибка разрешается до такой степени, что точка Pa фокусировки и опорная точка Pr по-прежнему могут рассматриваться как имеющие идентичную высоту.

[0076] Контроллер 35 яркостного различия находит яркостное различие между точкой Pa фокусировки и опорной точкой Pr. Когда существует большое яркостное различие между точкой Pa фокусировки и опорной точкой Pr, предполагается край между точкой Pa фокусировки и опорной точкой Pr. Модуль 36 обнаружения линий краев, показанный на фиг. 3, следовательно, обнаруживает линию края на основе яркостного различия между точкой Pa фокусировки и опорной точкой Pr.

[0077] Этот аспект описывается подробнее. Фиг. 15 иллюстрирует конкретное действие контроллера 35 яркостного различия, при этом фиг. 15(a) иллюстрирует изображение при виде с высоты птичьего полета при наблюдении с высоты птичьего полета, и фиг. 15(b) является укрупненным видом участка B1 изображения при виде с высоты птичьего полета, показанного на фиг. 15(a). Только область A1 обнаружения используется в описании для фиг. 15, но яркостное различие вычисляется посредством идентичной процедуры для области A2 обнаружения.

[0078] Когда другое транспортное средство VX отражается в изображении, захваченном посредством камеры 10, другое транспортное средство VX отображается в области A1 обнаружения в изображении при виде с высоты птичьего полета, как показано на фиг. 15(a). В изображении при виде с высоты птичьего полета линия La фокусировки задается на резиновых участках шин другого транспортного средства VX таким образом, что укрупненный вид области B1 на фиг. 15(a) показывается на фиг. 15(b). В этом состоянии контроллер 35 яркостного различия сначала задает опорную линию Lr. Опорная линия Lr задается вдоль вертикального направления в позиции, отделенной от линии La фокусировки на предварительно определенное расстояние в реальном пространстве. В частности, в устройстве 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции, отделенной от линии La фокусировки на 10 см в реальном пространстве. Опорная линия Lr в силу этого задается, например, в изображении при виде с высоты птичьего полета на колесах шин другого транспортного средства VX, которые отделяются на 10 см от резины шин другого транспортного средства VX.

[0079] Затем, контроллер 35 яркостного различия задает множество точек Pa1-PaN фокусировки на линии La фокусировки. На фиг. 15(b), для удобства задаются шесть точек Pa1-Pa6 фокусировки (при указании любой произвольной точки ниже, точка называется просто точкой Pai фокусировки). Любое требуемое число точек Pa фокусировки может задаваться на линии La фокусировки. В нижеприведенном описании, N точек Pa фокусировки описываются как заданные на линии La фокусировки.

[0080] Затем, контроллер 35 яркостного различия задает опорные точки Pr1-PrN таким образом, что он имеют высоту, идентичную высоте точек Pa1-PaN фокусировки в реальном пространстве. Контроллер 35 яркостного различия затем вычисляет яркостное различие между точками Pa фокусировки и опорными точками Pr, которые имеют идентичную высоту между собой. Контроллер 35 яркостного различия за счет этого вычисляет яркостное различие двух пикселов для каждой из множества позиций (1-N) вдоль вертикальной воображаемой линии, идущей вертикально в реальном пространстве. Контроллер 35 яркостного различия, например, вычисляет яркостное различие между первой точкой Pa1 фокусировки и первой опорной точкой Pr1, а также вычисляет яркостное различие между второй точкой Pa2 фокусировки и второй опорной точкой Pr2. Контроллер 35 яркостного различия за счет этого непрерывно находит яркостные различия вдоль линии La фокусировки и опорной линии Lr. В частности, контроллер 35 яркостного различия последовательно находит яркостные различия между третьей-N-ой точками Pa3-PaN фокусировки и третьей-N-ой опорными точками Pr3-PrN.

[0081] Контроллер 35 яркостного различия многократно выполняет вышеописанный процесс задания опорной линии Lr, задания точек Pa фокусировки и опорных точек Pr и вычисления яркостного различия при сдвиге линии La фокусировки в области A1 обнаружения. В частности, контроллер 35 яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La фокусировки и опорной линии Lr посредством идентичного расстояния вдоль направления линии L1 на земной поверхности в реальном пространстве. Например, контроллер 35 яркостного различия задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La фокусировки, задает опорную линию Lr относительно этой линии La фокусировки и продолжает последовательно находить яркостные различия.

[0082] Возвращаясь к фиг. 3, модуль 36 обнаружения линий краев обнаруживает линию края из непрерывных яркостных различий, вычисленных посредством контроллера 35 яркостного различия. В случае, показанном на фиг. 15(b), например, яркостное различие является малым, поскольку первая точка Pa1 фокусировки и первая опорная точка Pr1 размещаются на идентичном участке шины. Вторая-шестая точки Pa2-Pa6 фокусировки размещаются на резиновом участке шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются на участке колеса шины. Следовательно, возникает большое яркостное различие между второй-шестой точками Pa2-Pa6 фокусировки и второй-шестой опорными точками Pr2-Pr6. Следовательно, модуль 36 обнаружения линий краев имеет возможность обнаруживать то, что существует линия края между второй-шестой точками Pa2-Pa6 фокусировки и второй-шестой опорными точками Pr2-Pr6, которые имеют большое яркостное различие.

[0083] В частности, при обнаружении линии края, модуль 36 обнаружения линий краев сначала назначает атрибуты i-ой точке Pai фокусировки из яркостного различия между i-ой точкой Pai фокусировки (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi′, yi′)), согласно следующей формуле 1.

[Формула 1]

когда I(xi, yi)>I(xi′, yi′)+t;

s(xi, yi)=1

когда I(xi, yi)<I(xi′, yi′)-t;

s(xi, yi)=-1

во все остальные моменты времени;

s(xi, yi)=0

[0084] В вышеприведенной формуле 1, t представляет пороговое значение, I(xi, yi) представляет значение яркости i-ой точки Pai фокусировки, и I(xi′, yi′) представляет значение яркости i-ой опорной точки Pri. Согласно вышеприведенной формуле 1, когда значение яркости точки Pai фокусировки выше значения яркости порогового значения t, добавляемого к опорной точке Pri, атрибут s(xi, yi) точки Pai фокусировки равен 1. Когда значение яркости точки Pai фокусировки меньше значения яркости порогового значения t, вычитаемого из опорной точки Pri, атрибут s(xi, yi) точки Pai фокусировки равен -1. Когда значение яркости точки Pai фокусировки и значение яркости опорной точки Pri имеют любую другую взаимосвязь, атрибут s(xi, yi) точки Pai фокусировки равен 0.

[0085] Затем, модуль 36 обнаружения линий краев определяет то, является или нет линия La фокусировки линией края, из неразрывности c(xi, yi) атрибута s вдоль линии La фокусировки на основе следующей формулы 2.

[Формула 2]

когда s(xi, yi)=s(xi+1, yi+1) (за исключением 0=0);

c(xi, yi)=1

во все остальные моменты времени;

c(xi, yi)=0

[0086] Когда атрибут s(xi, yi) точки Pai фокусировки и атрибут s(xi+1, yi+1) смежной точки Pai+1 фокусировки являются идентичными, неразрывность c(xi, yi) равна 1. Когда атрибут s(xi, yi) точки Pai фокусировки и атрибут s(xi+1, yi+1) смежной точки Pai+1 фокусировки не являются идентичными, неразрывность c(xi, yi) равна 0.

[0087] Модуль 36 обнаружения линий краев затем находит общую сумму неразрывностей c всех точек Pa фокусировки на линии La фокусировки. Модуль 36 обнаружения линий краев нормализует неразрывности c посредством деления найденной общей суммы неразрывностей c на число N точек Pa фокусировки. Когда нормализованное значение превышает пороговое значение θ, модуль 36 обнаружения линий краев оценивает то, что линия La фокусировки является линией края. Пороговое значение θ является значением, заданным заранее посредством экспериментирования и т.п.

[0088] В частности, модуль 36 обнаружения линий краев оценивает то, является или нет линия La фокусировки линией края, на основе следующей формулы 3. Модуль 36 обнаружения линий краев затем оценивает то, является или нет вся линия La фокусировки, нанесенная в области A1 обнаружения, линией края.

[Формула 3]

Σc(xi, yi)/N>θ

[0089] Возвращаясь к фиг. 3, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Как описано выше, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линии краев, идущие вертикально в реальном пространстве. Когда обнаруживается множество вертикально расположенных линий краев, это означает то, что имеется высокая вероятность присутствия трехмерного объекта в областях A1, A2 обнаружения. Следовательно, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерные объекты на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Кроме того, до обнаружения трехмерных объектов, модуль 37 обнаружения трехмерных объектов определяет то, являются или нет линии краев, обнаруженные посредством модуля 36 обнаружения линий краев, корректными. Модуль 37 обнаружения трехмерных объектов определяет то, превышает или нет изменение яркости линии края вдоль линии края в изображении при виде с высоты птичьего полета предварительно определенное пороговое значение. Когда изменение яркости линии края в изображении при виде с высоты птичьего полета превышает пороговое значение, оценивается, что линия края обнаружена посредством ошибочного определения. Когда изменение яркости линии края в изображении при виде с высоты птичьего полета не превышает пороговое значение, линия края определяется как корректная. Это пороговое значение является значением, заданным заранее посредством экспериментирования и т.п.

[0090] Фиг. 16 иллюстрирует распределение яркости линии края, при этом фиг. 16(a) показывает линию края и распределение яркости, когда существует другое транспортное средство VX в качестве трехмерного объекта в области A1 обнаружения, и фиг. 16(b) показывает линию края и распределение яркости, когда отсутствует трехмерный объект в области A1 обнаружения.

[0091] Как показано на фиг. 16(a), линия La фокусировки, заданная на резиновом участке шины другого транспортного средства VX в изображении при виде с высоты птичьего полета, оценивается в качестве линии края. В этом случае, яркость линии La фокусировки в изображении при виде с высоты птичьего полета изменяется плавно. Это обусловлено этим фактом, что изображение, захваченное посредством камеры 10, подвергается преобразованию точки обзора в изображение при виде с высоты птичьего полета, вследствие чего шины другого транспортного средства VX являются продолговатыми в изображении при виде с высоты птичьего полета. Как показано на фиг. 16(b), линия La фокусировки, заданная в надписи "50" в участке символов белого цвета, нанесенной на поверхности дороги в изображении при виде с высоты птичьего полета, ошибочно определена в качестве линии края. В этом случае, изменение яркости линии La фокусировки в изображении при виде с высоты птичьего полета имеет значительную волнистость. Это обусловлено тем, что участки с высокой яркостью в символах белого цвета и участки с низкой яркостью на поверхности дороги и т.п. смешиваются между собой в линии края.

[0092] На основе разностей в распределении яркости в линии La фокусировки, таких как разности, описанные выше, модуль 37 обнаружения трехмерных объектов определяет то, обнаружена или нет линия края посредством ошибочного определения. Когда изменение яркости вдоль линии края превышает предварительно определенное пороговое значение, модуль 37 обнаружения трехмерных объектов определяет то, что линия края обнаружена посредством ошибочного определения. Линия края в таком случае не используется при обнаружении трехмерных объектов. Это подавляет случаи определения таких объектов, как символы белого цвета "50" на поверхности дороги или придорожные посадки на обочине дороги, в качестве линий краев, а также снижение точности обнаружения трехмерных объектов.

[0093] В частности, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линии края согласно нижеприведенной формуле 4 или 5. Это изменение яркости линии края является эквивалентным значению оценки в вертикальном направлении в реальном пространстве. Нижеприведенная формула 4 оценивает распределение яркости посредством совокупного значения квадратов разностей между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением яркости I(xi+1, yi+1) на линии La фокусировки. Нижеприведенная формула 5 оценивает распределение яркости посредством совокупного значения абсолютных значений разностей между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением яркости I(xi+1, yi+1) на линии La фокусировки.

[Формула 4]

Значение оценки в вертикальном эквивалентном направлении=Σ{[I(xi, yi)-I(xi+1, yi+1)]²}

[Формула 5]

Значение оценки в вертикальном эквивалентном направлении=Σ|I(xi, yi)-I(xi+1, yi+1)|

[0094] Формула 5 не является единственным вариантом, и другой возможный вариант состоит в том, чтобы преобразовывать в двоичную форму атрибут b смежного значения яркости с использованием порогового значения t2 и суммировать преобразованные в двоичную форму атрибуты b для всех точек Pa фокусировки.

[Формула 6]

Значение оценки в вертикальном эквивалентном направлении=Σb(xi, yi)

когда |I(xi, yi)-I(xi+1, yi+1)|>t2;

b(xi, yi)=1

во все остальные моменты времени;

b(xi, yi)=0

[0095] Когда абсолютное значение яркостного различия между значением яркости точки Pai фокусировки и значением яркости опорной точки Pri превышает пороговое значение t2, атрибут b(xi, yi) точки Pa фокусировки (xi, yi) равен 1. Когда взаимосвязь отличается от указанной, атрибут b(xi, yi) точки Pai фокусировки равен 0. Пороговое значение t2 задается заранее посредством экспериментирования и т.п., чтобы определять то, что линия La фокусировки не находится на идентичном трехмерном объекте. Модуль 37 обнаружения трехмерных объектов затем суммирует атрибуты b всех точек Pa фокусировки на линии La фокусировки, находит значение оценки в вертикальном эквивалентном направлении и определяет то, является или нет линия края корректной.

[0096] Далее описывается способ для обнаружения трехмерных объектов с использованием информации краев согласно настоящему варианту осуществления. Фиг. 17 и 18 являются блок-схемами последовательности операций способа, показывающими подробности способа обнаружения трехмерных объектов согласно настоящему варианту осуществления. На фиг. 17 и 18, описывается процесс, в котором область A1 обнаружения является целью для удобства, но идентичный процесс также выполняется для области A2 обнаружения.

[0097] Во-первых, на этапе S20, компьютер 30 задает область обнаружения на основе предварительно определенного правила, как показано на фиг. 17. Этот способ задания областей обнаружения подробно описывается далее. На этапе S21, камера 10 формирует изображение предварительно определенной области, указываемой посредством угла a обзора и установленной позиции. На этапе S22, модуль 31 преобразования точки обзора затем вводит захваченные данные изображений, захваченные посредством камеры 10 на этапе S21, и выполняет преобразование точки обзора, чтобы создавать данные изображений при виде с высоты птичьего полета.

[0098] На этапе S23, контроллер 35 яркостного различия затем задает линию La фокусировки в области A1 обнаружения. В это время, контроллер 35 яркостного различия задает в качестве линии La фокусировки линию, которая является эквивалентной линии, идущей вертикально в реальном пространстве. На этапе S24, контроллер 35 яркостного различия затем задает опорную линию Lr в области A1 обнаружения. В это время, контроллер 35 яркостного различия задает в качестве опорной линии Lr линию, которая является эквивалентной сегменту линии, идущему вертикально в реальном пространстве, и которая отделяется на предварительно определенное расстояние от линии La фокусировки в реальном пространстве.

[0099] На этапе S25, контроллер 35 яркостного различия затем задает множество точек Pa фокусировки на линии La фокусировки. В это время, контроллер 35 яркостного различия задает число точек Pa фокусировки, которое недостаточно для того, чтобы вызывать проблему в ходе обнаружения краев посредством модуля 36 обнаружения линий краев. Контроллер 35 яркостного различия также задает опорные точки Pr таким образом, что точки Pa фокусировки и опорные точки Pr имеют практически идентичную высоту в реальном пространстве, на этапе S26. Точки Pa фокусировки и опорные точки Pr в силу этого совмещаются в практически горизонтальном направлении, и вертикально расположенные линии краев легко обнаруживаются в реальном пространстве.

[0100] На этапе S27, контроллер 35 яркостного различия затем вычисляет яркостные различия между точками Pa фокусировки и опорными точками Pr, которые имеют идентичную высоту в реальном пространстве. Модуль 36 обнаружения линий краев затем вычисляет атрибуты s точек Pa фокусировки в соответствии с вышеприведенной формулой 1. На этапе S28, модуль 36 обнаружения линий краев затем вычисляет неразрывности c атрибутов s точек Pa фокусировки в соответствии с вышеприведенной формулой 2. На этапе S29, модуль 36 обнаружения линий краев затем определяет то, превышает или нет нормализованное значение общей суммы неразрывностей c пороговое значение θ, в соответствии с вышеприведенной формулой 3. Когда нормализованное значение оценивается как превышающее пороговое значение θ (S29: "Да"), модуль 36 обнаружения линий краев обнаруживает линию La фокусировки в качестве линии края на этапе S30. Процесс затем переходит к этапу S31. Когда нормализованное значение оценивается как не превышающее пороговое значение θ (S29: "Нет"), модуль 36 обнаружения линий краев не обнаруживает линию La фокусировки в качестве линии края, и процесс переходит к этапу S31.

[0101] На этапе S31, компьютер 30 оценивает то, выполнен или нет процесс этапов S23-S30, описанных выше, выполнен для всех линий La фокусировки, которые могут задаваться в области A1 обнаружения. Когда оценено, что вышеописанный процесс не выполнен для всех линий La фокусировки (S31: "Нет"), процесс возвращается к этапу S23, задается новая линия La фокусировки, и повторяется процесс вплоть до этапа S31. Когда оценено, что вышеописанный процесс выполнен для всех линий La фокусировки (S31: "Да"), процесс переходит к этапу S32 по фиг. 18.

[0102] На этапе S32 по фиг. 18, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для всех линий краев, обнаруженных на этапе S30 по фиг. 17. Модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из вышеприведенных формул 4, 5 и 6. На этапе S33, модуль 37 обнаружения трехмерных объектов затем исключает линии краев, для которых изменение яркости превышает предварительно определенное пороговое значение. В частности, линии краев, имеющие большое изменение яркости, определяются как некорректные линии краев, и эти линии краев не используются при обнаружении трехмерного объекта. Это служит для того, чтобы подавлять обнаружение таких объектов, как символы на поверхности дороги и придорожные посадки на обочине дороги в области A1 обнаружения, в качестве линий краев, как описано выше. Следовательно, предварительно определенное пороговое значение является значением, которое находится заранее посредством экспериментирования и т.п. и которое задается на основе изменения яркости, возникающего вследствие таких объектов, как символы на поверхности дороги и придорожные посадки на обочине дороги.

[0103] На этапе S34, модуль 37 обнаружения трехмерных объектов затем оценивает то, равно или превышает либо нет количество линий краев второе пороговое значение β. Например, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который является целью обнаружения, второе пороговое значение β задается заранее посредством экспериментирования и т.п. на основе числа линий краев четырехколесного транспортного средства, которое отображается в области A1 обнаружения. Когда количество линий краев определяется как равное или превышающее второе пороговое значение β (S34: "Да"), модуль 37 обнаружения трехмерных объектов обнаруживает то, что существует трехмерный объект в области A1 обнаружения, на этапе S35. Когда количество линий краев определяется как не равное или превышающее второе пороговое значение β (S34: "Нет"), модуль 37 обнаружения трехмерных объектов оценивает то, что в области A1 обнаружения отсутствует трехмерный объект. Процесс, показанный на фиг. 17 и 18, после этого завершается. Обнаруженный трехмерный объект может оцениваться в качестве другого транспортного средства VX, движущегося в смежной полосе движения, смежной с полосой движения, по которой движется транспортное средство V, или может выполняться оценка того, является или нет объект другим транспортным средством VX, движущимся в смежной полосе движения, с учетом относительной скорости обнаруженного трехмерного объекта относительно транспортного средства V.

[0104] Как описано выше, согласно способу обнаружения трехмерных объектов с использованием информации краев настоящего варианта осуществления, вертикальные воображаемые линии в качестве вертикально расположенных сегментов линии края задаются в реальном пространстве относительно изображения при виде с высоты птичьего полета, чтобы обнаруживать трехмерные объекты, присутствующие в областях A1, A2 обнаружения. Для каждой из множества позиций вдоль вертикальной воображаемой линии вычисляется яркостное различие между двумя пикселами рядом с каждой позиции, и то, существует или нет трехмерный объект, может быть определено на основе неразрывности яркостных различий.

[0105] В частности, в областях A1, A2 обнаружения в изображении при виде с высоты птичьего полета, задается линия La фокусировки, которая соответствует вертикально расположенному сегменту линии в реальном пространстве, и также задается опорная линия Lr, отличающаяся от линии La фокусировки. Яркостные различия между точками Pa фокусировки на линии La фокусировки и опорными точками Pr на опорной линии Lr затем непрерывно находятся вдоль линии La фокусировки и опорной линии Lr. Таким образом, яркостное различие между линией La фокусировки и опорной линией Lr находится посредством непрерывного нахождения яркостных различий между точками. Когда яркостное различие между линией La фокусировки и опорной линией Lr является высоким, имеется высокая вероятность того, что край трехмерного объекта находится в заданном местоположении линии La фокусировки. Трехмерный объект в силу этого может быть обнаружен на основе непрерывного яркостного различия. Процесс обнаружения трехмерных объектов не затрагивается, даже если трехмерный объект является продолговатым согласно своей высоте от поверхности дороги вследствие преобразования в изображение при виде с высоты птичьего полета, в частности, поскольку яркость сравнивается между вертикальными воображаемыми линиями, идущими вертикально в реальном пространстве. Следовательно, согласно способу настоящего примера, может повышаться точность обнаружения трехмерных объектов.

[0106] В настоящем примере, яркостное различие находится между двумя точками с практически идентичной высотой рядом с вертикальной воображаемой линией. В частности, яркостное различие, когда существует вертикально расположенный край, может безусловно обнаруживаться, поскольку яркостное различие находится из точек Pa фокусировки на линии La фокусировки и опорных точек Pr на опорной линии Lr, которые имеют практически идентичную высоту в реальном пространстве.

[0107] Кроме того, в настоящем примере, атрибуты назначаются точкам Pa фокусировки на основе яркостных различий между точками Pa фокусировки на линии La фокусировки и опорными точками Pr на опорной линии Lr, и то, является или нет линия La фокусировки линией края, оценивается на основе неразрывности c атрибутов вдоль линии La фокусировки. Следовательно, граница между областью с высокой яркостью и областью с низкой яркостью может быть обнаружена в качестве линии края, и может выполняться обнаружение краев, напоминающее естественное человеческое ощущение. Результаты этого подробно описываются здесь. Фиг. 19 иллюстрирует пример изображения для описания процесса модуля 36 обнаружения линий краев. Этот пример изображения является изображением, в котором первый полосковый шаблон 101 и второй полосковый шаблон 102 являются смежными, при этом первый полосковый шаблон показывает полосковый шаблон, в котором повторяются области с высокой яркостью и области с низкой яркостью, и второй полосковый шаблон показывает полосковый шаблон, в котором повторяются области с низкой яркостью и области с высокой яркостью. В этом примере, изображения области с высокой яркостью первого полоскового шаблона 101 и области с низкой яркостью второго полоскового шаблона 102 являются смежными, и области с низкой яркостью первого полоскового шаблона 101 и области с высокой яркостью второго полоскового шаблона 102 являются смежными. Область 103, размещаемая на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, зачастую не воспринимается как край, в зависимости от человеческих ощущений.

[0108] Поскольку области с низкой яркостью и области с высокой яркостью являются смежными, область 103 распознается в качестве края, когда края обнаруживаются только посредством яркостного различия. Тем не менее, поскольку модуль 36 обнаружения линий краев определяет область 103 в качестве линии края только тогда, когда атрибуты яркостных различий имеют неразрывность в дополнение к яркостным различиям в области 103, могут подавляться ошибочные определения, при которых модуль 36 обнаружения линий краев распознает, что область 103 является линией края, несмотря на нераспознаваемость в качестве линии края посредством человеческих ощущений, и может выполняться обнаружение краев, напоминающее человеческое ощущение.

[0109] Кроме того, в настоящем примере, когда изменение яркости линии края, обнаруженной посредством модуля 36 обнаружения линий краев, превышает предварительно определенное пороговое значение, оценивается, что линия края обнаружена посредством ошибочного определения. Когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение при виде с высоты птичьего полета, трехмерные объекты, включенные в изображение при виде с высоты птичьего полета, зачастую отображаются в изображении при виде с высоты птичьего полета в продолговатом состоянии. Например, когда шины другого транспортного средства VX являются продолговатыми, как описано выше, изменение яркости в изображении при виде с высоты птичьего полета в продолговатом направлении стремится быть малым, поскольку одна область (шина) является продолговатой. Когда символы и т.п., нанесенные на поверхности дороги, ошибочно обнаружены в качестве линии края, область с высокой яркостью, которая является участком символов, и область с низкой яркостью, которая является участком поверхности дороги, включаются смешанными между собой в изображение при виде с высоты птичьего полета. В этом случае, в изображении при виде с высоты птичьего полета имеется тенденция большого изменения яркости в продолговатом направлении. Следовательно, определение изменения яркости в изображении при виде с высоты птичьего полета вдоль линии края, аналогично настоящему примеру, позволяет распознавать линии краев, обнаруженные посредством ошибочного определения, и повышать точность обнаружения трехмерных объектов.

[0110] Кроме того, в настоящем примере, когда изменение яркости линии края, обнаруженной посредством модуля 36 обнаружения линий краев, превышает предварительно определенное пороговое значение, оценивается, что линия края обнаружена посредством ошибочного определения. Когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение при виде с высоты птичьего полета, трехмерные объекты, включенные в изображение при виде с высоты птичьего полета, зачастую отображаются в изображении при виде с высоты птичьего полета в продолговатом состоянии. Например, когда шины другого транспортного средства VX являются продолговатыми, как описано выше, изменение яркости в изображении при виде с высоты птичьего полета в продолговатом направлении стремится быть малым, поскольку одна область (шина) является продолговатой. Когда символы и т.п., нанесенные на поверхности дороги, ошибочно обнаружены в качестве линии края, область с высокой яркостью, которая является участком символов, и область с низкой яркостью, которая является участком поверхности дороги, включаются смешанными между собой в изображение при виде с высоты птичьего полета. В этом случае, в изображении при виде с высоты птичьего полета имеется тенденция большого изменения яркости в продолговатом направлении. Следовательно, определение изменения яркости в изображении при виде с высоты птичьего полета вдоль линии края, аналогично настоящему примеру, позволяет распознавать линии краев, обнаруженные посредством ошибочного определения, и повышать точность обнаружения трехмерных объектов. Модули 33, 37 обнаружения трехмерных объектов также могут отправлять результаты обнаружения во внешний контроллер транспортного средства, чтобы отправлять уведомления пассажирам или управлять транспортным средством.

[0111] ОКОНЧАТЕЛЬНАЯ ОЦЕНКА ТРЕХМЕРНОГО ОБЪЕКТА

Возвращаясь к фиг. 3, устройство 1 обнаружения трехмерных объектов настоящего примера содержит два модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов), описанные выше, модуль 34 оценки трехмерных объектов, модуль 38 оценки естественных объектов и модуль 39 управления. Модуль 34 оценки трехмерных объектов в конечном счете оценивает то, является или нет обнаруженный трехмерный объект другим транспортным средством VX, присутствующим в областях A1, A2 обнаружения, на основе результатов обнаружения модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов). Модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) выполняет обнаружение трехмерных объектов, которое отражает результаты оценки модуля 38 оценки естественных объектов. Модуль 38 оценки естественных объектов оценивает то, является или нет трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов), естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль пути, по которому движется транспортное средство V.

[0112] Модуль 38 оценки естественных объектов настоящего варианта осуществления обнаруживает кустарниковые насаждения, к примеру, деревья, посаженные на разделительной полосе дороги или на обочине дороги, деревья, растущие естественным образом на травянистых участках или в лесопосадках у дороги, сугробы или снежные наносы, содержащие снег, смешанный с грязью, на разделительной полосе дороги или на обочине дороги, и другие естественные объекты (стационарные объекты), которые стационарно располагаются у дороги. Поскольку деревья качаются на ветру, их позиции изображений колеблются нерегулярно независимо от того, являются они или нет стационарными объектами. Искусственные конструкции (дорожное ограждение) и т.п. аналогично являются стационарными объектами, но остаются стационарными на ветру, и, следовательно, изображения естественных объектов и изображения искусственных конструкций демонстрируют разные поведения в идентичной среде. Например, в таких случаях, когда снег образовал сугроб и убран с дороги, нанос из снега образуется на обочине дороги, но нерегулярный шаблон вкраплений образуется в наносе из снега, поскольку грязь и опавшие части с деревьев смешиваются со снегом, когда снег убирается. Искусственные конструкции (дорожное ограждение) и т.п. аналогично являются стационарными объектами, но либо не имеют шаблона, либо имеют фиксированный шаблон, и, следовательно, изображения естественных объектов и изображения искусственных конструкций демонстрируют разные поведения в идентичной среде при наблюдении во времени из движущегося транспортного средства V. Когда захваченные изображения придорожных посадок или снежных наносов анализируются, изображения зачастую демонстрируют нерегулярные характеристики по сравнению с характеристиками искусственных конструкций. Следовательно, авторы изобретения предлагают способ извлечения характеристик, соответствующих нерегулярному движению, из захваченного изображения и обнаружения естественных объектов, таких как придорожные посадки или снег из стационарных объектов на основе извлеченных характеристик. Естественные объекты, такие как придорожные посадки или снег, в настоящем описании изобретения являются стационарными объектами, которые не перемещаются самостоятельно.

[0113] Естественные объекты Q1, такие как придорожные посадки, растущие вдоль обочины данной дороги, не перемещаются самостоятельно, но, в общем, имеют неопределенную форму и не сохраняют идентичную форму во времени, как показано на фиг. 20, и, как следствие, их нерегулярность является высокой (регулярность является низкой), поскольку наблюдается варьирование в характеристиках, извлеченных из их захваченных изображений. Нанос из снега, сформированный на обочине, зачастую имеет шаблон с вкраплениями, и когда такой нанос постоянно наблюдается из движущегося транспортного средства V, его информация изображений зачастую демонстрирует характеристики, идентичные характеристикам информации изображений придорожных посадок.

[0114] В этой связи, дорожное ограждение и другие конструкции (стационарные искусственные объекты), предоставленные с постоянными интервалами на обочине данной дороги, имеют фиксированные формы, и такие конструкции являются совершенно неподвижными и сохраняют идентичную форму во времени. Следовательно, нерегулярность является более низкой (регулярность является более высокой), чем для изображений естественных объектов, включающих в себя придорожные посадки и снег, поскольку характеристики, извлеченные из захваченных изображений, вообще не имеют варьирования.

[0115] Кроме того, предусмотрена общая базовая конструкция для других транспортных средств VX, которые являются целями, в конечном счете обнаруживаемыми посредством устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления, и эти конструкции сохраняют идентичную форму во времени. Следовательно, нерегулярность является более низкой (регулярность является более высокой), чем для изображений естественных объектов, включающих в себя придорожные посадки и снег, поскольку характеристики, извлеченные из захваченных изображений, вообще не имеют варьирования.

[0116] Таким образом, при фокусировке на нерегулярности пикселов, составляющих изображение, естественные стационарные объекты, такие как придорожные посадки и снег, могут отличаться от искусственных стационарных объектов, таких как дорожное ограждение, и движущихся объектов, таких как другие транспортные средства VX.

[0117] Поскольку цель устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления заключается в том, чтобы обнаруживать другие транспортные средства VX, нет необходимости по отдельности различать конструкции естественных объектов Q1, включающих в себя придорожные посадки и снег, или дорожное ограждение, и эти конструкции должны различаться только в качестве "стационарных объектов, отличных от другого транспортного средства VX".

[0118] Тем не менее, для того чтобы обнаруживать с высокой точностью "другое транспортное средство VX", которое влияет на движение транспортного средства V, обработка изображений и обработка обнаружения объектов, соответствующая характеристикам изображения цели обнаружения, должна разрабатываться в зависимости от того, являются объекты, отличные от другого транспортного средства VX, движущимися объектами или стационарными объектами, являются они трехмерными объектами или плоскими объектами, а также в зависимости от того, являются или нет объекты естественными объектами, включающими в себя придорожные посадки и снег. Также можно выполнять процесс прогнозирования области изображения, которая отражает дорожное ограждение, и реализации процесса с обратной связью при обработке изображений, например, поскольку формы дорожного ограждения могут быть прогнозированы; и поскольку считается, что имеется верхний предел на высоту растительности Q1, также можно выполнять процесс с использованием этого верхнего предела для того, чтобы прогнозировать область изображения, которая отражает растительность Q1, и реализовывать обратную связь при обработке изображений. Таким образом, важно точно отличать атрибуты (свойства) объектов, отличных от цели обнаружения (не целей обнаружения), чтобы повышать точность обнаружения целей обнаружения, других транспортных средств VX.

[0119] В устройстве 1 обнаружения трехмерных объектов настоящего варианта осуществления, различные физические свойства объектов, к примеру, физические свойства других транспортных средств VX, физические свойства естественных объектов Q1, включающих в себя придорожные посадки и снег, и физические свойства дорожного ограждения анализируются на основе нерегулярности, извлеченной из информации изображений; естественные объекты Q1, включающие в себя придорожные посадки и снег, точно различаются из различных изображений объектов, включенных в захваченное изображение; и как результат, цели обнаружения (другие транспортные средства VX) обнаруживаются с высокой точностью.

[0120] Модуль 38 оценки естественных объектов выполняет процесс для оценки изображений естественных объектов, включающих в себя придорожные посадки и снег, на основе информации форм разностных сигналов или процесс для оценки изображений естественных объектов, включающих в себя придорожные посадки и снег, на основе информации краев.

[0121] На основе информации форм разностных сигналов, созданной посредством модуля 33 обнаружения трехмерных объектов, модуль 38 оценки естественных объектов вычисляет значение оценки нерегулярности для оценки нерегулярности информации форм разностных сигналов. Способ для вычисления значения оценки нерегулярности на основе информации форм разностных сигналов не ограничен конкретным образом; значение может оцениваться на основе степени варьирования в характеристиках, извлеченных из информации форм разностных сигналов. Например, когда варьирование пикового значения, равного предварительно определенному значению, извлеченному из информации форм разностных сигналов, равно или превышает предварительно определенное значение, нерегулярность может оцениваться как высокая.

[0122] В частности, модуль 38 оценки естественных объектов вычисляет значение оценки нерегулярности для оценки нерегулярности информации форм разностных сигналов на основе числа первых пикселов для первых пикселов, показывающих первую предварительно определенную разность в разностном изображении, включающем в себя обнаруженный трехмерный объект, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления попадания в поле зрения трехмерного объекта, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые показывают вторую предварительно определенную разность, превышающую первую предварительно определенную разность в разностном изображении. Когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, которое задано заранее, трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, оценивается в качестве естественных объектов, включающих в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство V. Вторая предварительно определенная разность, используемая для того, чтобы извлекать вторые пикселы, является эквивалентной "предварительно определенной разности", используемой, когда обнаруживаются трехмерные объекты, и составляет относительно высокое пороговое значение, заданное при указании того, что край объекта может извлекаться. Первая предварительно определенная разность, используемая для того, чтобы извлекать первые пикселы, является относительно низким пороговым значением, заданным при указании того, что край любого изображения (включающего в себя действительные изображения и виртуальные изображения), отображаемого в разностном изображении, может извлекаться.

[0123] Аналогично, на основе информации краев, созданной посредством модуля 37 обнаружения трехмерных объектов, модуль 38 оценки естественных объектов вычисляет значение оценки нерегулярности для оценивания нерегулярности информации краев. Например, когда общая сумма линий краев, извлеченных из информации краев или варьирования в пиковом значении количества линий краев, равна или превышает предварительно определенное значение, нерегулярность может оцениваться как высокая.

[0124] В частности, модуль 38 оценки естественных объектов вычисляет значение оценки нерегулярности для оценки нерегулярности информации краев на основе числа первых пикселов для первых пикселов, в которых яркостное различие между смежными областями изображения равно или превышает первое предварительно определенное пороговое значение в разностном изображении, включающем в себя обнаруженный трехмерный объект, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления попадания в поле зрения трехмерного объекта, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и в которых яркостное различие между смежными областями изображения в изображении при виде с высоты птичьего полета равно или превышает второе предварительно определенное пороговое значение, превышающее первое предварительно определенное пороговое значение. Когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, которое задано заранее, трехмерный объект, обнаруженный посредством модуля 37 обнаружения трехмерных объектов, оценивается в качестве естественного объекта, включающего в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство. Второе предварительно определенное пороговое значение, используемое для того, чтобы извлекать вторые пикселы, является эквивалентным "предварительно определенному пороговому значению", используемому, когда обнаруживаются трехмерные объекты, и составляет относительно высокое пороговое значение, заданное при указании того, что край объекта может извлекаться. Первое предварительно определенное пороговое значение, используемое для того, чтобы извлекать первые пикселы, является относительно низким пороговым значением, заданным при указании того, что край любого изображения (включающего в себя действительные изображения и виртуальные изображения), отображаемого в изображении при виде с высоты птичьего полета, может извлекаться.

[0125] Когда может использоваться информация форм разностных сигналов, из числа пикселов, которые извлекаются вдоль направления попадания в поле зрения трехмерного объекта, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые показывают вторую предварительно определенную разность в разностном изображении, модуль 38 оценки естественных объектов настоящего варианта осуществления обозначает в качестве вторых пикселов пикселы, которые составляют группы пикселов, в которых пикселы совмещаются, по меньшей мере, с предварительно определенной плотностью или, по меньшей мере, в предварительно определенной величине, и находит число этих вторых пикселов в качестве числа вторых пикселов. Когда может использоваться информация краев, из числа пикселов, которые извлекаются вдоль направления попадания в поле зрения трехмерного объекта, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и для которых яркостное различие между смежными областями изображения в изображении при виде с высоты птичьего полета равно или превышает второе предварительно определенное пороговое значение, модуль 38 оценки естественных объектов обозначает в качестве вторых пикселов пикселы, которые составляют группы пикселов, в которых пикселы совмещаются, по меньшей мере, с предварительно определенной плотностью или, по меньшей мере, в предварительно определенной величине, и находит число этих вторых пикселов в качестве числа вторых пикселов.

[0126] В настоящем варианте осуществления, вторые пикселы, наблюдаемые, по меньшей мере, с предварительно определенной плотностью вдоль направления попадания в поле зрения трехмерного объекта, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, оцениваются в качестве характеристики изображения искусственного трехмерного объекта. Следовательно, из первых пикселов, соответствующих всем изображениям, включающим в себя объекты, вторые пикселы, соответствующие искусственным трехмерным объектам, и пикселы (третьи пикселы), соответствующие не искусственным, а естественным трехмерным объектам, могут различаться с высокой точностью.

[0127] Пикселы, отличные от вторых пикселов, классифицируются в качестве пикселов, которые не соответствуют искусственному трехмерному объекту и которые обнаруживаются нерегулярно, и оценка того, является или нет обнаруженный трехмерный объект естественным объектом, выполняется на основе этих нерегулярностей.

[0128] Модуль 38 оценки естественных объектов вычисляет значение оценки нерегулярности из числа первых пикселов и числа вторых пикселов. Когда модуль 38 оценки естественных объектов вычисляет процент числа вторых пикселов относительно числа первых пикселов в качестве "значения оценки нерегулярности", и процент числа вторых пикселов относительно числа первых пикселов равен или меньше предварительно определенного процента, модуль 38 оценки естественных объектов может оценивать то, что существует высокое число пикселов, которые не являются регулярными вторыми пикселами и которые рассеиваются нерегулярно, и "значение оценки нерегулярности" равно или превышает предварительно определенное пороговое значение оценки нерегулярности. Когда модуль 38 оценки естественных объектов вычисляет число вторых пикселов относительно числа первых пикселов в качестве "значения оценки нерегулярности", и число вторых пикселов относительно числа первых пикселов равно или превышает предварительно определенный процент, модуль 38 оценки естественных объектов может оценивать то, что существует низкое число пикселов, которые не являются регулярными вторыми пикселами и которые рассеиваются нерегулярно, и "значение оценки нерегулярности" равно или превышает предварительно определенное пороговое значение оценки нерегулярности. Когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее, модуль 38 оценки естественных объектов оценивает то, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, является изображением естественных объектов, включающих в себя придорожные посадки и снег, присутствующий вдоль дороги, по которой движется транспортное средство V.

[0129] Таким образом, согласно способу обнаружения естественных объектов, включающих в себя придорожные посадки и снег, на основе оценки нерегулярности согласно настоящему варианту осуществления обнаруживаются нерегулярные точки P1 краев, которые совмещаются нерегулярно и которые не удовлетворяют предварительно установленным условиям искусственного трехмерного объекта, и то, существуют или нет придорожные посадки и снег, оценивается на основе числа L нерегулярных точек P1 краев. Когда в областях A1, A2 обнаружения существует искусственный объект, такой как транспортное средство, точки P краев зачастую легко и точно совмещаются регулярным способом вдоль направления попадания в поле зрения, поскольку объект является искусственным. В случае придорожных посадок и снега, точки краев рассеиваются нерегулярно, поскольку объект не является искусственным. Следовательно, можно различать между первыми и вторыми из числа L нерегулярных точек P1 краев. Следовательно, может повышаться точность оценки придорожных посадок и снега.

[0130] ОПИСЫВАЕТСЯ КОНКРЕТНЫЙ СПОСОБ ОЦЕНКИ МОДУЛЯ 38 ОЦЕНКИ ЕСТЕСТВЕННЫХ ОБЪЕКТОВ.

"Первые пикселы", описанные выше, являются пикселами, для которых пикселное значение или яркостное различие во всей целевой области обнаружения составляет предварительно определенное значение или более, и являются темно-серыми точками, которые могут быть краем любого объекта (включающего в себя плоский объект, трехмерный объект, движущийся объект и стационарный объект). "Вторые пикселы" являются пикселами из числа "первых пикселов", которые извлекаются вдоль направления попадания в поле зрения трехмерного объекта, когда изображение подвергается преобразованию точки обзора в изображение при виде с высоты птичьего полета, и являются темно-серыми точками, которые могут быть краем трехмерного объекта. "Третьи пикселы", которые являются остатком "первых пикселов", исключая "вторые пикселы", являются пикселами, которые не присутствуют вдоль направления попадания в поле зрения, и являются пикселами, которые не совмещаются регулярным способом, т.е. пикселами, присутствующими нерегулярным способом.

[0131] Модуль 38 оценки естественных объектов вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов и вычисляет значение оценки нерегулярности на основе числа вторых пикселов и числа третьих пикселов. В этом случае, модуль 38 оценки естественных объектов оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда число вторых пикселов меньше первого предварительно определенного значения, и число третьих пикселов равно или превышает второе предварительно определенное значение. Хотя не ограничено конкретным образом, первое предварительно определенное значение для оценки числа вторых пикселов может быть ниже второго предварительно определенного значения для оценки числа третьих пикселов. Как должно быть очевидным, первое предварительно определенное значение и второе предварительно определенное значение могут быть идентичным значением. В этом процессе, поскольку модуль 38 оценки естественных объектов оценивает нерегулярность как высокую, когда число вторых пикселов, совмещенных регулярно, является относительно низким, а число третьих пикселов, расположенных нерегулярно, является относительно высоким, модуль 38 оценки естественных объектов может количественно оценивать нерегулярность захваченного изображения и может обнаруживать присутствие естественных объектов, включающих в себя придорожные посадки и снег, с высокой точностью.

[0132] Модуль 38 оценки естественных объектов сравнивает число вторых пикселов и число третьих пикселов, которое является результатом вычитания числа вторых пикселов из числа первых пикселов, и когда результат вычитания числа вторых пикселов из числа третьих пикселов равен или превышает третье предварительно определенное значение, модуль 38 оценки естественных объектов оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности. В этом процессе, поскольку модуль 38 оценки естественных объектов оценивает нерегулярность как высокую, когда число нерегулярных третьих пикселов относительно выше числа регулярных вторых пикселов, модуль 38 оценки естественных объектов может количественно оценивать нерегулярность захваченного изображения и может обнаруживать присутствие естественных объектов, включающих в себя придорожные посадки и снег, с высокой точностью.

[0133] Модуль 38 оценки естественных объектов вычисляет количественное соотношение числа третьих пикселов относительно числа первых пикселов или числа вторых пикселов, и когда либо количественное соотношение числа третьих пикселов относительно числа первых пикселов, либо количественное соотношение числа третьих пикселов относительно числа вторых пикселов равно или превышает предварительно определенное соотношение, модуль 38 оценки естественных объектов оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности. В этом процессе, поскольку модуль 38 оценки естественных объектов оценивает нерегулярность как высокую, когда нерегулярные третьи пикселы присутствуют в большем соотношении по сравнению с регулярными вторыми пикселами или общим числом первых пикселов, модуль 38 оценки естественных объектов может количественно оценивать нерегулярность захваченного изображения и может обнаруживать присутствие естественных объектов, включающих в себя придорожные посадки и снег, с высокой точностью.

[0134] Когда значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, может оцениваться в качестве придорожных посадок или снега Q1 вдоль дороги, по которой движется транспортное средство V, и когда значение оценки нерегулярности меньше предварительно определенного порогового значения оценки нерегулярности, трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, может оцениваться в качестве искусственного стационарного объекта, такого как дорожное ограждение вдоль дороги, по которой движется транспортное средство V. Это пороговое значение оценки нерегулярности может задаваться экспериментально, на основе нерегулярности естественных объектов Q1, включающих в себя придорожные посадки и снег.

[0135] Далее описывается модуль 34 оценки трехмерных объектов. Модуль 34 оценки трехмерных объектов настоящего варианта осуществления в конечном счете оценивает то, являются или нет трехмерные объекты, обнаруженные в модулях 33, 37 обнаружения трехмерных объектов, другими транспортными средствами VX, присутствующими в областях A1, A2 обнаружения. В частности, когда результаты обнаружения трехмерных объектов модулей 33, 37 обнаружения трехмерных объектов продолжаются в течение предварительно определенной длительности T, модуль 34 оценки трехмерных объектов оценивает трехмерный объект в качестве другого транспортного средства VX, присутствующего в областях A1, A2 обнаружения. Хотя не ограничено конкретным образом, модуль 34 оценки трехмерных объектов может в конечном счете оценивать то, является или нет трехмерный объект другим транспортным средством VX, присутствующим в областях A1, A2 обнаружения, когда такие параметры, как скорость движения и число пиков и пиковое значение формы разностного сигнала, извлеченное из информации форм разностных сигналов, находятся в предварительно определенном диапазоне значений; и модуль 34 оценки трехмерных объектов также может в конечном счете оценивать то, является или нет трехмерный объект другим транспортным средством VX, присутствующим в областях A1, A2 обнаружения, когда такие параметры, как неразрывность края, извлеченная из информации краев, нормализованное значение общей суммы и количество линий краев, находятся в предварительно определенном диапазоне значений и продолжают находиться в течение, по меньшей мере, предварительно определенной длительности.

[0136] Когда трехмерный объект, обнаруженный посредством модуля 33 или 37 обнаружения трехмерных объектов, обнаруживается непрерывно в течение, по меньшей мере, предварительно определенной длительности, модуль 34 оценки трехмерных объектов настоящего варианта осуществления оценивает то, что трехмерный объект является другим транспортным средством VX, присутствующим в правой области обнаружения или левой области обнаружения.

[0137] В этой связи, когда модуль 34 оценки трехмерных объектов оценивает то, что обнаруженный трехмерный объект является другим транспортным средством VX, присутствующим в области A1 или A2 обнаружения, выполняется процесс выдачи уведомления и т.п. пассажиру. Модуль 34 оценки трехмерных объектов может подавлять оценку обнаруженного трехмерного объекта в качестве другого транспортного средства VX в соответствии с командой управления модуля 39 управления.

[0138] Модуль 38 оценки естественных объектов описывается ниже в качестве основной составляющей процесса в способе оценки нерегулярности, но модуль 38 оценки естественных объектов может инструктировать модулю 32 позиционного совмещения или модулю 33 обнаружения трехмерных объектов либо контроллеру 35 яркостного различия, модулю 36 обнаружения линий краев или модулю 37 обнаружения трехмерных объектов выполнять часть процесса; получать результаты процесса; и в конечном счете оценивать нерегулярность.

[0139] Из данных изображений при виде с высоты птичьего полета областей A1, A2 обнаружения, подвергнутых преобразованию точки обзора посредством модуля 31 преобразования точки обзора, модуль 38 оценки естественных объектов обнаруживает нерегулярные точки краев, которые совмещаются нерегулярно и которые не удовлетворяют предварительно установленному условию для искусственного трехмерного объекта. Предварительно установленное состояние искусственного трехмерного объекта состоит в том, что точки краев совмещаются практически по прямой линии и, по меньшей мере, с предварительно определенной плотностью в данных изображений при виде с высоты птичьего полета областей A1, A2 обнаружения.

[0140] В процессе оценки нерегулярности модуль 38 оценки естественных объектов может инструктировать модулю 36 обнаружения линий краев и модулю 37 обнаружения трехмерных объектов обрабатывать информацию краев и может использовать результаты обработки. В процессе оценки нерегулярности модуль 38 оценки естественных объектов также может инструктировать модулю 32 позиционного совмещения и модулю 33 обнаружения трехмерных объектов, которые создают информацию форм разностных сигналов на основе пиксельных значений, обрабатывать информацию краев, как описано ниже, и может использовать результаты обработки. В настоящем варианте осуществления, трехмерные объекты обнаруживаются на основе информации форм разностных сигналов или информации краев, но поскольку информация форм разностных сигналов и информация краев первоначально создаются на основе или пикселных значений пикселов, составляющих захваченное изображение, или яркостных различий в качестве совместно используемой информации, оценка нерегулярности может применяться к любому способу. Нерегулярность может оцениваться на основе информации краев, в то время как трехмерные объекты обнаруживаются на основе информации форм разностных сигналов, или нерегулярность может оцениваться на основе информации форм разностных сигналов, в то время как трехмерные объекты обнаруживаются на основе информации краев.

[0141] Фиг. 21 является схемой, показывающей точки P краев в данных изображений при виде с высоты птичьего полета области A1 обнаружения (аналогично ниже, включающей в себя пикселы). Множество точек P краев присутствует в данных изображений при виде с высоты птичьего полета области A1 обнаружения, как показано на фиг. 21. Из этих точек краев точки P краев, размещаемые в областях R1, R2, совмещаются практически по прямой линии и, по меньшей мере, с предварительно определенной плотностью, удовлетворяя предварительно установленному условию для искусственного трехмерного объекта. Тем не менее, точки P краев, размещаемые за пределами областей R1, R2, не совмещаются практически по прямой линии и, по меньшей мере, с предварительно определенной плотностью и не удовлетворяют предварительно установленному условию для искусственного трехмерного объекта. Модуль 38 оценки естественных объектов обнаруживает точки P краев, которые, для вышеописанного множества точек P краев, размещаются за пределами областей R1, R2, в качестве нерегулярных точек P1 краев. Это направление совмещения точек краев, по меньшей мере, с предварительно определенной плотностью, которое является условием для искусственного трехмерного объекта, идет вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора.

[0142] Модуль 38 оценки естественных объектов обнаруживает точки P краев из данных изображений при виде с высоты птичьего полета областей A1, A2 обнаружения. Этот процесс обнаружения точек краев обнаруживает точки P краев, например, посредством применения лапласова фильтра к данным изображений при виде с высоты птичьего полета и выполнения процесса преобразования в двоичную форму.

[0143] Модуль 38 оценки естественных объектов обнаруживает регулярные точки P2 краев, которые, из обнаруженных точек P краев, являются обнаруженными точками P краев, которые регулярно совмещаются и которые удовлетворяют предварительно установленному условию для искусственного трехмерного объекта. Модуль 38 оценки естественных объектов обнаруживает регулярные точки P2 краев при условии, что точки P краев совмещаются, по меньшей мере, с предварительно определенной плотностью в направлении излучения из камеры 10 в данных изображений при виде с высоты птичьего полета областей A1, A2 обнаружения. В качестве примера, модуль 38 оценки естественных объектов задает прямую линию, идущую в направлении излучения из камеры 10, и из этой прямой линии определяет область, охватывающую предварительно определенное число пикселов (например, 10 пикселов). Модуль 38 оценки естественных объектов оценивает то, что точки P краев в этой области совмещаются практически по прямой линии, и оценивает то, совмещаются или нет точки P краев в этой области, по меньшей мере, с предварительно определенной плотностью, посредством оценки того, размещаются они или нет в пределах предварительно определенного расстояния (предварительно определенного числа пикселов) относительно друг друга.

[0144] Когда обнаруживаются точки P краев и регулярные точки P2 краев, модуль 38 оценки естественных объектов обнаруживает число, получающееся в результате вычитания числа регулярных точек P2 краев из числа обнаруженных точек P краев, в качестве числа нерегулярных точек P1 краев. Модуль 38 оценки естественных объектов оценивает то, существуют или нет в областях A1, A2 обнаружения придорожные посадки, грязь и/или снег, содержащий вкрапления почвы. Модуль 38 оценки естественных объектов обращается к числу обнаруженных нерегулярных точек P1 краев для этой оценки.

[0145] Фиг. 22 является схемой, показывающей точки P краев в данных изображений при виде с высоты птичьего полета области A1 обнаружения, при этом (a) показывает точки P краев транспортного средства (участок шины), (b) показывает точки P краев придорожных посадок, а (c) показывает точки P краев снега. Во-первых, транспортное средство (шина) является искусственным объектом. Следовательно, точки P краев зачастую легко совмещаются регулярным способом. Следовательно, транспортное средство зачастую имеет малое число нерегулярных точек P1 краев и большое число регулярных точек P2 краев, как показано на фиг. 22(a). Поскольку придорожные посадки и снег не являются искусственными объектами, имеется малое число точек P краев, совмещенных практически по прямой линии и с предварительно определенной плотностью (т.е. регулярных точек P2 краев), и большое число нерегулярных точек P1 краев, как показано на фиг. 22(b) и 22(c). Модуль 38 оценки естественных объектов может оценивать придорожные посадки и снег посредством сравнения числа нерегулярных точек P1 краев и предварительно определенного порогового значения. Значение нерегулярных точек P1 краев является одной формой значения оценки нерегулярности, а предварительно определенное пороговое значение для сравнения является одной формой порогового значения оценки нерегулярности. Предварительно определенное пороговое значение включает в себя, по меньшей мере, пороговое значение в качестве порогового значения оценки нерегулярности, заданного с точки зрения различения вышеописанных естественных объектов Q1, включающих в себя придорожные посадки и снег.

[0146] Модуль 38 оценки естественных объектов обнаруживает придорожные посадки и снег на основе отношения числа нерегулярных точек P1 краев к числу точек P краев или к числу регулярных точек P2 краев. Возникают случаи, в которых число точек P краев снижений увеличивается или снижается под влиянием светового окружения, когда захватывается изображение. Следовательно, модуль 38 оценки естественных объектов может оценивать придорожные посадки и снег с малым влиянием светового окружения точнее посредством сравнения вышеописанного отношения и предварительно определенного порогового значения, чем посредством простого сравнения числа нерегулярных точек P1 краев и предварительно определенного порогового значения. Отношение числа нерегулярных точек P1 краев к числу точек P краев или к числу регулярных точек P2 краев в данном документе является одной формой значения оценки нерегулярности, и предварительно определенное пороговое значение, связанное с отношением для сравнения, является одной формой порогового значения оценки нерегулярности. Предварительно определенное пороговое значение включает в себя, по меньшей мере, пороговое значение в качестве порогового значения оценки нерегулярности, заданного с точки зрения различения вышеописанных естественных объектов Q1, включающих в себя придорожные посадки и снег.

[0147] Далее приводится описание механизма выброса чернил согласно настоящему варианту осуществления и, в частности, способа для обнаружения естественных объектов с высокой нерегулярностью, включающих в себя придорожные посадки и снег. Фиг. 23 является блок-схемой последовательности операций, показывающей способ для обнаружения естественных объектов, таких как снег и придорожные посадки согласно настоящему варианту осуществления. Во-первых, как показано на фиг. 23, модуль 38 оценки естественных объектов применяет лапласов фильтр к данным изображений при виде с высоты птичьего полета, полученным посредством преобразования точки обзора модуля 31 преобразования точки обзора (S51). Пикселное значение пикселов, эквивалентных точкам P краев, в силу этого больше, и пикселное значение для других пикселов меньше.

[0148] Модуль 38 оценки естественных объектов затем выполняет процесс преобразования в двоичную форму для изображения, подвергнутого обработке с помощью лапласова фильтра (S52), и проясняет точки P краев. Модуль 38 оценки естественных объектов после этого подсчитывает число N точек P краев (S53). В процессе этапов S54 и S55 модуль 38 оценки естественных объектов обнаруживает регулярные точки P2 краев в направлении излучения из камеры 10, причем условие искусственного трехмерного объекта заключается в том, что точки P краев совмещаются, по меньшей мере, с предварительно определенной плотностью, и подсчитывает число M регулярных точек P2 краев. В частности, модуль 38 оценки естественных объектов сначала обнаруживает вертикальный край (S54) и подсчитывает число M точек P краев, окружающих вертикальный край (например, в пределах десяти пикселах от вертикального края) (S55).

[0149] Модуль 38 оценки естественных объектов затем вычисляет число L нерегулярных точек P1 краев (S56) посредством вычитания числа M регулярных точек P2 краев, вычисленных на этапе S55, из числа N точек P краев, подсчитанных и вычисленных на этапе S53. Модуль 38 оценки естественных объектов вычисляет отношение (S57). В это время, модуль 38 оценки естественных объектов вычисляет отношение числа L нерегулярных точек P1 краев к числу N точек P краев или к числу M регулярных точек P2 краев из формулы L/N или L/M. Если это отношение включает в себя L/N или L/M, другие числа могут добавляться и вычитаться либо умножаться и делиться.

[0150] Далее модуль 38 оценки естественных объектов оценивает то, равно или превышает либо нет отношение, вычисленное на этапе S57, предварительно определенное пороговое значение (S58). Когда отношение оценивается как равное или превышающее предварительно определенное пороговое значение (S58: "Да"), имеется высокая вероятность придорожных посадок или снега в областях A1, A2 обнаружения, поскольку число нерегулярных точек P1 краев является высоким. Следовательно, модуль 38 оценки естественных объектов оценивает то, что в областях A1, A2 обнаружения существуют придорожные посадки или снег (S59). Модуль 39 управления передает команду управления в модуль 37 обнаружения трехмерных объектов и модуль 34 оценки трехмерных объектов для цели подавления обнаружения или оценки трехмерных объектов (S60). Модули 33, 37 обнаружения трехмерных объектов и модуль 34 оценки трехмерных объектов распознают, что в областях A1, A2 обнаружения существует изображение, возникающее в результате придорожных посадок или снега, и может предотвращаться ошибочное обнаружение придорожных посадок или снега в качестве другого транспортного средства VX.

[0151] Когда модуль 38 оценки естественных объектов оценивает то, что отношение не равно или превышает предварительно определенное пороговое значение (S58: Нет), модуль 38 оценки естественных объектов оценивает то, что отсутствуют изображения придорожных посадок или снега в областях A1, A2 обнаружения.

[0152] Точки P краев обнаруживаются из данных изображений в областях A1, A2 обнаружения, регулярные точки P2 краев, совмещенные регулярно таким образом, что они удовлетворяют предварительно установленному условию для искусственного трехмерного объекта, обнаруживаются, и вторые вычитаются из первых. Следовательно, нерегулярные точки P1 краев, совмещенные нерегулярно, могут быть обнаружены посредством восприятия всех точек P краев и вычитания регулярных точек P2 краев.

[0153] То, присутствуют или нет в областях A1, A2 обнаружения придорожные посадки и/или снег, оценивается на основе отношения между числом L нерегулярных точек P1 краев и либо числом N точек P краев, либо числом M регулярных точек P2 краев. Следовательно, число L нерегулярных точек P1 краев и либо число N точек P краев, либо число M регулярных точек P2 краев аналогично может быть обнаружено как большее или меньшее фактического числа, например, даже в таких случаях, когда большее или меньше число точек P краев обнаруживается вследствие разности в световом окружении. Следовательно, само отношение не затрагивается явно посредством светового окружения. Следовательно, придорожные посадки и снег могут быть обнаружены с малым влиянием изменений в световом окружении.

[0154] Регулярные точки P2 краев извлекаются при условии, что точки краев совмещаются практически по прямой линии и, по меньшей мере, с предварительно определенной плотностью, когда данные изображений областей A1, A2 обнаружения преобразованы в вид с высоты птичьего полета. Следовательно, регулярные точки P2 краев легко обнаруживаются с объектами, имеющими множество линейных компонентов, таких как искусственные объекты и регулярные точки P2 краев не обнаруживаются легко для придорожных посадок или снега. Следовательно, придорожные посадки и снег могут быть обнаружены точнее.

[0155] Регулярные точки P2 краев извлекаются при условии, что точки P краев совмещаются, по меньшей мере, с предварительно определенной плотностью в направлении излучения из камеры 10, когда данные изображений областей A1, A2 обнаружения преобразованы в вид с высоты птичьего полета. Следовательно, компоненты, идущие вертикально в реальном пространстве, обнаруживаются в качестве регулярных точек P2 краев, точки P вертикальных краев транспортного средства в качестве трехмерного объекта могут восприниматься, и различия между транспортными средствами и посадками или снегом могут проясняться.

[0156] Далее описывается другой пример обработки, связанный с оценкой нерегулярности. Этот процесс выполняется посредством модуля 38 оценки естественных объектов, показанного на фиг. 3. Модуль 38 оценки естественных объектов настоящего примера содержит функцию обнаружения линейных компонентов. Функция обнаружения линейных компонентов обнаруживает линейные компоненты из данных изображений с высоты птичьего полета в областях A1, A2 обнаружения.

[0157] Модуль 38 оценки естественных объектов обнаруживает точки P краев в областях, отличных от областей около (например, области в десяти пикселах) линейных компонентов, обнаруженных посредством функции обнаружения линейных компонентов. Эти точки P краев обнаруживаются в качестве нерегулярных точек P1 краев, показанных на фиг. 21.

[0158] Фиг. 24 является блок-схемой последовательности операций способа, показывающей управляющую процедуру текущего процесса. После получения данных изображений при виде с высоты птичьего полета, полученных посредством преобразования точки обзора модуля 31 преобразования точки обзора, модуль 38 оценки естественных объектов подвергает эти данные преобразованию Хафа и обнаруживает линейные компоненты (S61).

[0159] Модуль 38 оценки естественных объектов затем определяет окружающие области, включающие в себя обнаруженные линейные компоненты (например, области, имеющие линейные компоненты в пределах десяти пикселах) (S62). Модуль 38 оценки естественных объектов затем применяет лапласов фильтр (S63) к областям, отличным от областей, определенных на этапе S62. Пикселное значение пикселов, эквивалентных точкам P краев (в частности, нерегулярным точкам P1 краев), в силу этого увеличивается, а пикселное значение для других пикселов снижается.

[0160] Модуль 38 оценки естественных объектов затем выполняет процесс преобразования в двоичную форму (S64) для изображения, подвергнутого обработке с помощью лапласова фильтра. Модуль 38 оценки естественных объектов за счет этого извлекает нерегулярные точки P1 краев и подсчитывает и вычисляет число L нерегулярных точек P1 краев (S65).

[0161] Модуль 38 оценки естественных объектов после этого оценивает то, равно или превышает либо нет число L, вычисленное на этапе S65, предварительно определенное пороговое значение (S66). Когда число L оценивается как равное или превышающее предварительно определенное пороговое значение (S66: "Да"), имеется высокая вероятность придорожных посадок или снега в областях A1, A2 обнаружения, поскольку число нерегулярных точек P1 краев является высоким. Следовательно, модуль 38 оценки естественных объектов оценивает то, что в областях A1, A2 обнаружения существуют придорожные посадки или снег (S67).

[0162] Нижеописанный модуль 39 управления передает сигнал в модули 33, 37 обнаружения трехмерных объектов или модуль 34 оценки трехмерных объектов для цели прекращения этого процесса (S68). Модули 33, 37 обнаружения трехмерных объектов или модуль 34 оценки трехмерных объектов за счет этого распознает, что в областях A1, A2 обнаружения существуют придорожные посадки или снег, и можно предотвращать ошибочное распознавание изображений придорожных посадок или снега в качестве изображений других транспортных средств VX, которые являются трехмерными объектами и движущимися объектами. После этого, процесс, показанный на фиг. 24, завершается.

[0163] Когда число L не равно или превышает предварительно определенное пороговое значение (S66: "Нет"), модуль 38 оценки естественных объектов оценивает то, что в областях A1, А2 обнаружения отсутствуют придорожные посадки или снег, и процесс, показанный на фиг. 24, завершается.

[0164] Согласно этому способу обнаружения естественных объектов, естественные объекты, такие как придорожные посадки и снег, могут быть обнаружены с высокой точностью, аналогично способу обработки, описанному ранее.

[0165] Согласно этому способу обнаружения естественных объектов, линейные компоненты обнаруживаются из данных изображений в областях A1, A2 обнаружения, и точки P краев обнаруживаются в областях, отличных от областей около линейных компонентов. Следовательно, линейные компоненты сначала удаляются, и точки P краев затем обнаруживаются в этом удаляемом состоянии, и, следовательно, могут обнаруживаться нерегулярные точки P1 краев, совмещенные нерегулярно.

[0166] Следующие изменения могут вноситься в процесс оценки стационарных объектов настоящего варианта осуществления. Например, в настоящем примере, скорость транспортного средства V оценивается на основе сигнала из датчика 20 скорости транспортного средства, но не ограничена этим; скорость транспортного средства может быть оценена из множества изображений в разные моменты времени. В этом случае, датчик скорости транспортного средства является необязательным, и может упрощаться конфигурация.

[0167] При обнаружении нерегулярных точек краев модуль 38 оценки естественных объектов в настоящем примере обнаруживает нерегулярные точки P1 краев после преобразования данных изображений, полученных посредством формирования изображений, в изображение с высоты птичьего полета, но не ограничен этим, и данные изображений, полученные посредством формирования изображений, не должны обязательно преобразовываться в изображение с высоты птичьего полета.

[0168] Модуль 38 оценки естественных объектов в настоящем примере сравнивает число L нерегулярных точек P1 краев и предварительно определенное пороговое значение, чтобы оценивать то, существуют или нет в областях A1, A2 обнаружения придорожные посадки или снег, но не ограничен этим и может обнаруживать число N всех точек P краев, находить отношение и сравнивать отношение с предварительно определенным пороговым значением. Модуль 38 оценки естественных объектов также может обнаруживать число M регулярных точек P2 краев и аналогично сравнивать отношение с предварительно определенным пороговым значением.

[0169] Камера 10 в настоящем варианте осуществления формирует изображение областей сзади и с боков от транспортного средства V в качестве областей A1, A2 обнаружения, но не ограничена этим и может использовать области с боков в качестве областей A1, A2 обнаружения либо области спереди и с боков в качестве областей A1, A2 обнаружения.

[0170] Нерегулярность краев, описанных выше, может восприниматься не только в качестве характеристик информации краев настоящего изобретения, но также и в качестве характеристик информации разностных изображений. Другими словами, когда создается информация разностных изображений, подсчитывается число пикселов, представляющих предварительно определенную разность в разностном изображении, и частотное распределение создается вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, в разностном изображении позиционно совмещенного изображения при виде с высоты птичьего полета. Тем не менее, пикселы, представляющие предварительно определенную разность (или вторую предварительно определенную разность) в разностном изображении, могут обрабатываться в качестве края в текущей обработке нерегулярности, и процесс, описанный выше, может применяться для того, чтобы оценивать нерегулярность на основе частотного распределения этих пикселов.

[0171] Далее описывается модуль 39 управления. Когда естественные объекты, такие как придорожные посадки и снег, включаются в захваченное изображение в предыдущем процессе, и модуль 38 оценки естественных объектов оценивает то, что изображение Q1 естественных объектов, включающих в себя придорожные посадки и снег, отражается в областях A1, A2 обнаружения, модуль 39 управления настоящего варианта осуществления может создавать команду управления, которая должна быль выполнена в следующем процессе, по меньшей мере, в одном из следующих компонентов: модули 33, 37 обнаружения трехмерных объектов, модуль 34 оценки трехмерных объектов, модуль 38 оценки естественных объектов или непосредственно модуль 39 управления.

[0172] Команда управления настоящего варианта осуществления является командой для управления действиями компонентов, с тем чтобы подавлять оценку обнаруженного трехмерного объекта в качестве другого транспортного средства VX. Это обусловлено тем, что когда изображения естественных объектов, включающих в себя придорожные посадки и снег, отражаются в областях A1, A2 обнаружения, имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественных объектов, включающих в себя придорожные посадки и снег, и, следовательно, предотвращается ошибочная оценка этого объекта в качестве другого транспортного средства VX. Поскольку компьютер 30 настоящего варианта осуществления является компьютером, команды управления, связанные с процессом обнаружения трехмерных объектов, процессом оценки трехмерных объектов и процессом оценки естественных объектов могут быть включены заранее в программы этих процессов и могут доставляться, когда программы выполняются. Команды управления настоящего варианта осуществления могут быть командами для уменьшения чувствительности, когда трехмерные объекты обнаруживаются на основе информации форм разностных сигналов, или командами для уменьшения чувствительности, когда трехмерные объекты обнаруживаются на основе информации краев. Когда оценка трехмерного объекта в качестве другого транспортного средства VX подавляется, команда управления может быть командой для такой цели, чтобы прекращать процесс оценки обнаруженного трехмерного объекта в качестве другого транспортного средства или оценивать то, что обнаруженный трехмерный объект не является другим транспортным средством.

[0173] Когда модуль 38 оценки естественных объектов оценивает то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления настоящего варианта осуществления доставляет в модули 33, 37 обнаружения трехмерных объектов или модуль 34 оценки трехмерных объектов команду управления для подавления обнаружения трехмерного объекта и оценки обнаруженного трехмерного объекта в качестве другого транспортного средства VX. В силу этого для модулей 33, 37 обнаружения трехмерных объектов становится затруднительным обнаруживать трехмерный объект. Для модуля 34 оценки трехмерных объектов также становится затруднительным оценивать то, что обнаруженный трехмерный объект является другим транспортным средством VX, присутствующим в области A1 обнаружения.

[0174] Когда модуль 38 оценки естественных объектов оценивает то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления также может создавать команду управления, указывающую прекращать процесс обнаружения трехмерных объектов, и выводить команду в модули 33, 37 обнаружения трехмерных объектов, либо он может создавать команду управления, указывающую прекращать процесс оценки трехмерных объектов, или команду управления, указывающую оценивать то, что обнаруженный трехмерный объект не является другим транспортным средством, и выводить команду в модуль 34 оценки трехмерных объектов. В силу этого могут достигаться функциональные преимущества, идентичные функциональным преимуществам, описанным выше.

[0175] Ниже приводится описание конкретных команд управления, выводимых посредством модуля 39 управления.

В предыдущем процессе, когда оценено посредством модуля 38 оценки естественных объектов то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является естественным объектом (стационарным объектом), включающим в себя придорожные посадки и снег, модуль 39 управления оценивает то, что имеется высокая вероятность того, что изображение естественного объекта отражается в областях A1, A2 обнаружения, и ошибка обработки возникает на основе этой информации изображений. Когда трехмерный объект обнаруживается в этом состоянии обычным способом, возникают случаи, в которых трехмерный объект, обнаруженный на основе изображения естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения, ошибочно оценивается в качестве другого транспортного средства VX. Следовательно, в следующем процессе, модуль 39 управления настоящего варианта осуществления повышает пороговое значение, связанное с разностью пикселного значения, при создании информации форм разностных сигналов, чтобы подавлять ошибочную оценку трехмерного объекта, обнаруженного на основе изображения естественного объекта Q1, включающего в себя придорожные посадки и снег, в качестве другого транспортного средства VX. Таким образом, когда естественный объект Q1, включающий в себя придорожные посадки и снег, отражается в областях A1, A2 обнаружения, поскольку обнаружение трехмерного объекта или оценка в качестве другого транспортного средства VX подавляется посредством повышения порогового значения оценки, можно предотвращать ошибочное обнаружение, возникающее в результате изображения естественного объекта Q1, включающего в себя придорожные посадки и снег.

[0176] Сначала приводится описание команды управления в случае, если трехмерный объект обнаруживается на основе информации форм разностных сигналов. Как описано выше, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерные объекты на основе информации форм разностных сигналов и первого порогового значения α. Когда модуль 38 оценки естественных объектов оценивает то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления настоящего варианта осуществления создает команду управления для повышения первого порогового значения α, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит команду в модуль 33 обнаружения трехмерных объектов. На этапе S7 по фиг. 11, первое пороговое значение α является первым пороговым значением α для оценки пиков формы DWt разностного сигнала (см. фиг. 5). Модуль 39 управления также может выводить в модуль 33 обнаружения трехмерных объектов команду управления для повышения или понижения порогового значения p, связанного с разностью пикселного значения в информации форм разностных сигналов.

[0177] Когда модуль 38 оценки естественных объектов оценивает то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления настоящего варианта осуществления может выводить в модуль 33 обнаружения трехмерных объектов команду управления для вывода меньшего значения, полученного посредством подсчета и создания частотного распределения для пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета. Значение, полученное посредством подсчета и создания частотного распределения для пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета, является значением вертикальной оси формы DW_t разностного сигнала, созданной на этапе S5 по фиг. 11. Когда оценивается в качестве высокой вероятности то, что трехмерный объект, обнаруженный в предыдущем процессе, является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления оценивает то, что имеется высокая вероятность того, что другое транспортное средство VX ошибочно обнаруживается на основе естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения. Следовательно, значения, полученные из создания частотного распределения формы DW_t разностного сигнала, понижаются и выводятся, с тем чтобы препятствовать обнаружению трехмерных объектов или других транспортных средств VX в областях A1, A2 обнаружения в следующем процессе. Таким образом, когда оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, чувствительность обнаружения других транспортных средств VX, движущихся по полосе, смежной с полосой движения, по которой движется транспортное средство V, регулируется посредством понижения выходного значения, и, следовательно, можно предотвращать ошибочное обнаружение другого транспортного средства VX, возникающее в результате естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения.

[0178] Далее приводится описание команды управления в случае обнаружения трехмерного объекта на основе информации краев. Аналогично вышеописанному процессу, на основе информации форм разностных сигналов, когда оценивается в качестве высокой вероятности то, что трехмерный объект, обнаруженный в предыдущем процессе, является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления оценивает то, что имеется высокая вероятность того, что другое транспортное средство VX ошибочно обнаруживается на основе естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения. Следовательно, когда оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления выводит в модуль 37 обнаружения трехмерных объектов команду управления для повышения предварительно определенного порогового значения, связанного с яркостью, используемой при обнаружении информации краев. Предварительно определенное пороговое значение, связанное с яркостью, используемой при обнаружении информации краев, является любой пороговым значением θ для оценки нормализованного значения общей суммы неразрывности c атрибутов точек Pa фокусировки на этапе S29 по фиг. 17 или вторым пороговым значением β для оценки количества линий краев на этапе S34 по фиг. 18. Другими словами, когда оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления настоящего варианта осуществления создает команду управления для увеличения либо порогового значения θ, используемого при обнаружении линий краев, либо второго порогового значения β для оценки количества линий краев, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов. Таким образом, когда оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, обнаружение трехмерного объекта или оценка в качестве другого транспортного средства VX подавляется посредством повышения порогового значения оценки, и, следовательно, можно предотвращать ошибочное обнаружение, возникающее в результате естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения.

[0179] Когда модуль 38 оценки естественных объектов оценивает то, что имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления настоящего варианта осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для вывода большего или меньшего объема обнаруженной информации краев. Объем обнаруженной информации краев является либо нормализованным значением общей суммы неразрывности c атрибутов точек Pa фокусировки на этапе S29 по фиг. 17, либо количеством линий краев на этапе S34 по фиг. 18. Когда оценено, что имеется высокая вероятность того, что трехмерный объект, обнаруженный в предыдущем процессе, является изображением естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления оценивает то, что имеется высокая вероятность того, что другое транспортное средство VX ошибочно обнаруживается на основе естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения. Следовательно, либо нормализованное значение общей суммы неразрывности c атрибутов точек Pa фокусировки, либо количество линий краев понижается и выводится, с тем чтобы подавлять обнаружение трехмерного объекта и оценку трехмерного объекта в качестве другого транспортного средства VX в следующем процессе.

[0180] В частности, когда имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, значение, получающееся в результате создания частотного распределения формы DW_t разностного сигнала, понижается и выводится. Таким образом, когда имеется высокая вероятность того, что обнаруженный трехмерный объект является изображением естественного объекта, включающего в себя придорожные посадки и снег, может быть реализовано управление, с тем чтобы подавлять обнаружение трехмерного объекта или оценку в качестве другого транспортного средства VX посредством понижения выходного значения, и, следовательно, можно предотвращать ошибочное обнаружение, возникающее в результате естественного объекта Q1, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения.

[0181] Ниже приводится описание, на основе фиг. 25, действия устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления и, в частности, действий модуля 39 управления и модуля 34 оценки трехмерных объектов и модулей 33, 37 обнаружения трехмерных объектов, которые получают команды управления. Процесс, показанный на фиг. 25, представляет собой последующий процесс обнаружения трехмерных объектов, выполняемый с использованием результата предыдущего процесса, после предыдущего процесса обнаружения трехмерных объектов.

[0182] Во-первых, на этапе S41, показанном на фиг. 25, модуль 38 оценки естественных объектов оценивает нерегулярность на основе информации форм разностных сигналов или информации краев. Значение оценки нерегулярности может оцениваться на основе степени варьирования в характеристиках, извлеченных из информации форм разностных сигналов или информации краев. Например, нерегулярность может оцениваться как высокая, когда число пиков, извлеченное из информации форм разностных сигналов или информации краев, меньше предварительно определенного значения, варьирование между пиками равно или превышает предварительно определенное значение, и либо разность области пиковых участков информации форм разностных сигналов, пропорциональных скорости транспортного средства V (отношение разности области к пикам), либо разность количества краев в пиковых участках информации краев (отношение разности краев к сумме краев в пиках) является большой.

[0183] На этапе S42, модуль 38 оценки естественных объектов оценивает то, равно или превышает либо нет вычисленное значение оценки нерегулярности пороговое значение оценки нерегулярности. Когда вычисленное значение оценки нерегулярности меньше порогового значения оценки нерегулярности, процесс переходит к этапу S45. Когда вычисленное значение оценки нерегулярности равно или превышает пороговое значение оценки нерегулярности, процесс переходит к этапу S43, и обнаруженный трехмерный объект оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег.

[0184] Затем, на этапе S44, когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается посредством модуля 38 оценки естественных объектов в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления, оценивает то, что имеется высокая вероятность того, что другое транспортное средство VX ошибочно обнаруживается на основе изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, отражаемого в областях A1, A2 обнаружения, и осуществляет управление либо для задания высоких пороговых значений, используемых в процессе обнаружения трехмерных объектов и процессе оценки трехмерных объектов, либо для вывода низкого выходного значения, которое должно сравниваться с пороговым значением, с тем чтобы подавлять обнаружение трехмерного объекта или оценку трехмерного объекта в качестве другого транспортного средства VX в следующем процессе.

[0185] Чтобы подавлять обнаружение трехмерного объекта посредством модулей 33, 37 обнаружения трехмерных объектов или оценки трехмерного объекта в качестве другого транспортного средства посредством модуля 34 оценки трехмерных объектов, модуль 39 управления либо изменяет пороговые значения, используемые в этих процессах, так что они выше начальных значений, стандартных значений и других заданных значений (с тем чтобы препятствовать обнаружению), либо изменяет выходные значения для сравнения с этими пороговыми значениями так, что они ниже (с тем чтобы препятствовать обнаружению). Когда модуль 39 управления выполняет вспомогательный процесс, вспомогательный процесс представляет собой подавляющий процесс и управление оценкой.

[0186] Контент конкретного процесса заключается в следующем.

[0187] Когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации форм разностных сигналов, обнаруживает трехмерный объект, когда информация форм разностных сигналов равна или превышает предварительно определенное первое пороговое значение α, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения первого порогового значения α, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 33 обнаружения трехмерных объектов.

[0188] Аналогично, когда модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, когда информация форм разностных сигналов равна или превышает предварительно определенное первое пороговое значение α, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода меньшего значения, получающегося в результате подсчета и создания частотного распределения числа пикселов, представляющего предварительно определенную разность, в разностном изображении для изображения при виде с высоты птичьего полета, и выводит эту команду управления в модуль 33 обнаружения трехмерных объектов.

[0189] Когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации форм разностных сигналов, извлекает число пикселов, представляющее пикселное значение, равное или превышающее пороговое значение p, в качестве числа пикселов, представляющего предварительно определенную разность, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения порогового значения p, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 33 обнаружения трехмерных объектов.

[0190] Аналогично, когда модуль 33 обнаружения трехмерных объектов извлекает число пикселов, представляющее пикселное значение, равное или превышающее пороговое значение p, в качестве числа пикселов, представляющего предварительно определенную разность, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода меньшего числа пикселов, извлеченного в разностном изображении вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и выводит эту команду управления в модуль 33 обнаружения трехмерных объектов. Например, модуль 39 управления частично маскирует области A1, A2 обнаружения или регулирует пороговые значения или выходные значения, используемые при обнаружении или оценке, чтобы подавлять либо результат обнаружения посредством модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов) того, что трехмерный объект присутствует, либо результат оценки посредством модуля 34 оценки трехмерных объектов того, что трехмерный объект в конечном счете является другим транспортным средством VX.

[0191] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, извлекает линии краев на основе пикселов, представляющих яркостное различие, равное или превышающее предварительно определенное пороговое значение t, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения предварительно определенного порогового значения t, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0192] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерный объект с использованием информации краев, извлекает линии краев на основе пикселов, представляющих яркостное различие, равное или превышающее предварительно определенное пороговое значение t, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода меньшего значения яркостного различия пикселов и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0193] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину, по меньшей мере, в пороговое значение θ, включенное в информацию краев, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения порогового значения θ, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0194] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину, по меньшей мере, в пороговое значение θ, включенное в информацию краев, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода меньшего значения длины обнаруженной линии края в информации краев и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0195] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, по меньшей мере, предварительно определенную длины, например, линий краев, имеющих длину в пороговое значение θ или более, включенных в информацию краев, второе пороговое значение β, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения второго порогового значения β, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0196] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, равно или превышает либо нет число линий краев, по меньшей мере, предварительно определенной длины, например, линий краев, имеющих длину в пороговое значение θ или более, включенных в информацию краев, второе пороговое значение β, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода меньшего числа обнаруженных линий краев, по меньшей мере, предварительно определенной длины и выводит эту команду управления в модуль 37 обнаружения трехмерных объектов.

[0197] Когда модуль 34 оценки трехмерных объектов оценивает то, что скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, предварительно заданную, и трехмерный объект является другим транспортным средством, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения предварительно определенной скорости, которая является нижним пределом при оценке трехмерного объекта в качестве другого транспортного средства, с тем чтобы препятствовать обнаружению трехмерного объекта, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0198] Аналогично, когда модуль 34 оценки трехмерных объектов оценивает то, что скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, предварительно заданную, и трехмерный объект является другим транспортным средством, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для вывода более низкой скорости движения цели обнаружения, которая должна сравниваться с предварительно определенной скоростью, которая является нижним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0199] Когда модуль 34 оценки трехмерных объектов оценивает то, что скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, предварительно заданной, и трехмерный объект является другим транспортным средством, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для понижения предварительно определенной скорости, которая является верхним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0200] Аналогично, когда модуль 34 оценки трехмерных объектов оценивает то, что скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, предварительно заданной, и трехмерный объект является другим транспортным средством, и когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения Q1 естественного объекта, включающего в себя придорожные посадки и снег, модуль 39 управления создает команду управления для повышения скорости движения трехмерного объекта, которая должна сравниваться с предварительно определенной скоростью, которая является верхним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит эту команду управления в модуль 34 оценки трехмерных объектов.

[0201] "Скорость движения" в данном документе включает в себя абсолютную скорость трехмерного объекта и относительную скорость трехмерного объекта относительно транспортного средства. Абсолютная скорость трехмерного объекта может быть вычислена из относительной скорости трехмерного объекта, или относительная скорость трехмерного объекта может быть вычислена из абсолютной скорости трехмерного объекта.

[0202] В этой связи, первое пороговое значение α служит для оценки пиков формы DW_t разностного сигнала на этапе S7 по фиг. 11. Пороговое значение p является пороговым значением для извлечения пикселов, имеющих предварительно определенное пикселное значение. Предварительно определенное пороговое значение t является пороговым значением для извлечения пикселов или компонентов краев, имеющих предварительно определенное яркостное различие. Пороговое значение θ является пороговым значением для оценки нормализованного значения общей суммы неразрывности c атрибутов точек Pa фокусировки (длины края) на этапе S29 по фиг. 17 и вторым пороговым значением β является пороговое значение для оценки количества (числа) линий краев на этапе S34 по фиг. 18. Таким образом, чувствительность обнаружения регулируется, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, посредством повышения пороговых значений оценки, и, следовательно, можно предотвращать ошибочное обнаружение естественного объекта в качестве другого транспортного средства VX.

[0203] Модуль 39 управления настоящего варианта осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления для вывода меньшего значения, получающегося в результате подсчета и создания частотного распределения пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета. Значение, получающееся в результате подсчета и создания частотного распределения пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета, является значением на вертикальной оси формы DW_t разностного сигнала, созданной на этапе S5 по фиг. 11.

[0204] Модуль 39 управления настоящего варианта осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для вывода меньшего объема обнаруженной информации краев. Обнаруженная информация краев включает в себя длину линий краев, которая является нормализованным значением общей суммы неразрывности c атрибутов точек Pa фокусировки на этапе S29 по фиг. 17 и количеством линий краев на этапе S34 по фиг. 18. Когда трехмерный объект оценивается в качестве естественного объекта, модуль 39 управления понижает либо количество линий краев, либо нормализованное значение общей суммы неразрывности c атрибутов точек Pa фокусировки, с тем чтобы препятствовать обнаружению трехмерного объекта в следующем процессе, так что естественный объект не обнаруживается в качестве трехмерного объекта. Таким образом, чувствительность обнаружения может регулироваться посредством понижения выходных значений, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, и, следовательно, можно предотвращать ошибочное обнаружение естественного объекта в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0205] Модуль 39 управления доставляет в модули 33, 37 обнаружения трехмерных объектов команды управления, указывающие повышать, по меньшей мере, одно из следующего: пороговое значение p, связанное с разностью пикселного значения, когда создается информация форм разностных сигналов, первое пороговое значение α, используемое при оценке трехмерного объекта из информации форм разностных сигналов, пороговое значение θ, когда создается информация краев, и второе пороговое значение β, используемое при оценке трехмерного объекта из информации краев; так что обнаружение трехмерного объекта подавляется. Модуль 39 управления также может создавать команды управления для понижения выходных значений, оцениваемых посредством пороговых значений, вместо повышения пороговых значений и может выводить эти команды управления в модули 33, 37 обнаружения трехмерных объектов.

[0206] При понижении выходных значений модуль 39 управления выводит в модуль 33 обнаружения трехмерных объектов команду управления для вывода меньшего значения, получающегося в результате подсчета и создания частотного распределения пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета. Значение, получающееся в результате подсчета и создания частотного распределения пикселного значения, выражающего предварительно определенную разность в разностном изображении для изображения при виде с высоты птичьего полета, является значением вертикальной оси формы DW_t разностного сигнала, созданной на этапе S5 по фиг. 11. Аналогично, модуль 39 управления может выводить в модуль 37 обнаружения трехмерных объектов команду управления для вывода меньшего объема обнаруженной информации краев. Объем обнаруженной информации краев является либо нормализованным значением общей суммы неразрывности c атрибутов точек Pa фокусировки на этапе S29 по фиг. 17, либо количеством линий краев на этапе S34 по фиг. 18. Когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве естественного объекта, модуль 39 управления может выводить в модуль 37 обнаружения трехмерных объектов команду управления для понижения либо количества линий краев, либо нормализованного значения общей суммы неразрывности c атрибутов точек Pa фокусировки, с тем чтобы препятствовать обнаружению трехмерного объекта в следующем процессе.

[0207] После того, как пороговые значения или выходные значения изменены, процесс переходит к этапу S45, трехмерный объект обнаруживается на основе информации форм разностных сигналов или информации краев, и выполняется оценка того, является или нет обнаруженный трехмерный объект другим транспортным средством VX.

[0208] Когда трехмерный объект и трехмерный объект являются другим транспортным средством VX на этапе S46, результат оценки, указывающий то, что существует другое транспортное средство, выводится на этапе S47, а когда трехмерный объект не является другим транспортным средством VX, результат оценки, указывающий то, что нет другого транспортного средства, выводится на этапе S48. Процессы на этапах S45 и S46 являются идентичными процессу обнаружения другого транспортного средства VX на основе информации форм разностных сигналов, описанному выше на фиг. 11 и 12, а также процессу обнаружения другого транспортного средства VX на основе информации краев, описанному на фиг. 17 и 18.

[0209] Когда отсутствует обнаружение трехмерного объекта или другого транспортного средства VX на этапе S46, процесс переходит к этапу S48, и может оцениваться то, что обнаруженный трехмерный объект не является другим транспортным средством VX, или что другое транспортное средство VX не присутствует, либо процесс переходит к этапу S49, и процесс обнаружения трехмерных объектов может прекращаться.

[0210] Ниже приводится описание примера способа отмены процесса подавления обнаружения трехмерных объектов, выполняемого так, как описано выше. В настоящем варианте осуществления, когда обнаруживается естественный объект Q1, включающий в себя придорожные посадки и снег, выполняется подавление обнаружения трехмерных объектов, но когда модуль 34 оценки трехмерных объектов оценивает то, что обнаруженный трехмерный объект является движущимся объектом, после того, как выполнен процесс подавления обнаружения трехмерных объектов, процесс подавления обнаружения трехмерных объектов отменяется.

[0211] Процедура управления процессом отмены подавления обнаружения трехмерных объектов показывается на фиг. 26. Процесс, показанный на фиг. 26, выполняется параллельно с процессом подавления обнаружения трехмерных объектов, показанным на фиг. 25. На этапе S71, как показано на фиг. 26, модуль 34 оценки трехмерных объектов оценивает то, является трехмерный объект, обнаруженный посредством модуля 33 или 37 обнаружения трехмерных объектов, движущимся объектом или стационарным объектом. Этот способ оценки описывается в дальнейшем. На этапе S72, когда процесс подавления (S44 по фиг. 25) уже выполнен, и когда трехмерный объект затем оценивается в качестве движущегося объекта на этапе S73, процесс переходит к этапу S74, и процесс подавления отменяется. В частности, измененные пороговые значения возвращаются к первоначальным значениям, и измененные выходные значения возвращаются к первоначальным значениям. Когда процесс подавления (S44 по фиг. 25) не выполняется на этапе, S72 и обнаруженный трехмерный объект являются стационарным объектом на этапе S73, процесс переходит к этапу S45, и процесс определения другого транспортного средства выполняется после уже выполненного процесса подавления (S44 по фиг. 25). Процесс на этапе S45 и далее является идентичным процессу на этапе S45 и далее, описанному на фиг. 25, и его описание содержится в данном документе и не излагается снова.

[0212] Ниже описывается способ оценки того, является трехмерный объект движущимся объектом или стационарным объектом. Модуль 34 оценки трехмерных объектов устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления оценивает то, является трехмерный объект, обнаруженный из захваченного изображения, движущимся объектом или стационарным объектом, на основе разностей в характеристиках изображений движущегося объекта в изображениях, захваченных в разные моменты времени, и изображений стационарного объекта в изображениях, захваченных в разные моменты времени.

[0213] В частности, в виде с высоты птичьего полета, модуль 34 оценки трехмерных объектов совмещает позицию первого изображения при виде с высоты птичьего полета, полученного в первое время, когда обнаруживается трехмерный объект, и позицию второго изображения при виде с высоты птичьего полета, полученного во второе время после первого времени, в соответствии с проезжаемым расстоянием (скоростью движения) транспортного средства V. Модуль 34 оценки трехмерных объектов затем находит первое интегрированное значение первой информации форм разностных сигналов, созданной посредством подсчета числа пикселов, представляющего предварительно определенную разность, и создания частотного распределения в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета. Другими словами, модуль 38 оценки естественных объектов создает смещенное разностное изображение с учетом величины перемещения транспортного средства V. Величина d′ смещения соответствует величине перемещения в данных изображений при виде с высоты птичьего полета, соответствующих фактическому проезжаемому расстоянию транспортного средства V, показанного на фиг. 4(a), и величина d′ смещения определяется на основе сигнала из датчика 20 скорости транспортного средства и длительности от непосредственно предшествующего момента времени до текущего времени. Первое интегрированное значение является совокупным значением предварительно определенных областей или всех значений, проиллюстрированных в качестве первой информации форм разностных сигналов.

[0214] Модуль 34 оценки трехмерных объектов находит второе интегрированное значение второй информации форм разностных сигналов, созданной посредством подсчета числа пикселов, представляющего предварительно определенную разность, и создания частотного распределения в разностном изображении для первого изображения при виде с высоты птичьего полета, полученного в первое время, и второго изображения при виде с высоты птичьего полета, полученного во второе время, которое находится после первого времени. Другими словами, модуль 38 оценки естественных объектов получает разностное изображение, в котором изображения не смещаются. Второе интегрированное значение является совокупным значением предварительно определенных областей или всех значений, проиллюстрированных в качестве второй информации форм разностных сигналов.

[0215] Модуль 34 оценки трехмерных объектов оценивает то, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, является движущимся объектом, когда значение оценки, которое соответствует числу раз, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, равно или превышает предварительно определенное пороговое значение оценки.

[0216] Авторы изобретения фокусируются на таких аспектах, что в разностном изображении смещенных захваченных изображений в разные моменты времени возникает большое количество пикселов, которые соответствуют характеристическим точкам движущегося объекта, и в разностном изображении захваченных изображений, которые не смещаются в разные моменты времени, возникает большое количество пикселов, которые соответствуют характеристическим точкам стационарного объекта, такого как естественный объект. В настоящем изобретении, пикселное значение (количество краев) разностного изображения смещенных (позиционно совмещенных) захваченных изображений в разные моменты времени и пикселное значение (количество краев) разностного изображения несмещенных (позиционно несовмещенных) захваченных изображений в разные моменты времени сравниваются, чтобы оценивать то, является трехмерный объект стационарным объектом или движущимся объектом, согласно соотношению абсолютных величин пикселных значений.

[0217] Когда изображение Q (T0) трехмерного объекта обнаруживается в области A1 или A2 обнаружения в предыдущее время T0, и изображение Q (T1) трехмерного объекта обнаруживается в области A1 или A2 обнаружения в текущее время T1 после времени T0, как показано на фиг. 27(a), транспортное средство V, которое является обнаруженным субъектом, движется вдоль направления B. Следовательно, изображение Q (T0) трехмерного объекта, обнаруженного в предыдущее время T0, перемещается в позицию изображения Q (T1) трехмерного объекта наверху чертежа в области A1 или A2 обнаружения.

[0218] Как показано на фиг. 27(b), модуль 34 оценки трехмерных объектов имеет возможность получать: распределение пикселов или компонентов краев изображения Q (T1) трехмерного объекта, обнаруженного в текущее время T1; распределение пикселов или компонентов краев изображения Q (T0A) трехмерного объекта, смещенного (позиционно совмещенного) на предварительно определенную величину, которое является изображением Q (T0) трехмерного объекта, обнаруженного в предыдущее время T0; и распределение пикселов или компонентов краев изображения Q (T0B) трехмерного объекта, которое не смещено (является позиционно несовмещенным), которое также является изображением Q (T0) трехмерного объекта, обнаруженного в предыдущее время T0.

[0219] Когда изображение T1 и смещенное изображение T0A сравниваются, как показано на фиг. 27(b), изображение Q (T1) трехмерного объекта в изображении T1 и изображение Q (T0A) трехмерного объекта в изображении T0A имеют практически идентичные позиции (позиции вдоль направления B движения транспортного средства V). Когда изображение T1 и несмещенное изображение T0B сравниваются, как показано на идентичной схеме, изображение Q (T1) трехмерного объекта в изображении T1 и изображение Q (T0B) трехмерного объекта в изображении T0B имеют разные позиции (позиции вдоль направления B движения транспортного средства V). Другими словами, когда разностное изображение T1 и T0A находится, идентичные участки удаляются и не остаются, и число пикселов, извлеченных в качестве характеристик, следовательно, является малым. Когда разностное изображение T1 и T0B находится, другие части остаются, и число пикселов, извлеченных в качестве характеристик, следовательно, является относительно высоким.

[0220] Далее описываются аспекты для рассмотрения, показанные на фиг. 27, с учетом того, является трехмерный объект движущимся объектом или стационарным объектом. Случай, когда трехмерный объект является движущимся объектом, описывается на фиг. 28, а случай, когда трехмерный объект является стационарным объектом, описывается на фиг. 29.

[0221] Когда обнаруженный трехмерный объект является движущимся другим транспортным средством VX, как показано на фиг. 28(a), транспортное средство V и другое транспортное средство VX зачастую поддерживают предварительно определенную позиционную взаимосвязь, поскольку как транспортное средство V, так и другое транспортное средство VX движутся. Другими словами, когда изображение с высоты птичьего полета является смещенным (позиционно совмещенным), позиция другого транспортного средства VX зачастую также сдвигается, и множество пикселов (краев), которые могут быть характеристиками, обнаруживаются в разностном изображении PD_t. Когда изображение с высоты птичьего полета не смещается, как показано на фиг. 28(b), позиция другого транспортного средства VX имеет тенденцию приближаться к транспортному средству V, и некоторое число пикселов (краев), которые могут быть характеристиками, обнаруживаются в разностном изображении PD_t. Интегрированное значение в информации форм разностных сигналов стремится быть высоким, если существует множество пикселов (краев) в разностном изображении PD_t, и интегрированное значение в информации форм разностных сигналов стремится быть низким, если существует некоторое число пикселов (краев) в разностном изображении PD_t.

[0222] Когда обнаруженный трехмерный объект является стационарным объектом Q1, как показано на фиг. 29(a), стационарный объект Q1 является стационарным, в то время как движется транспортное средство V, и, как следствие, транспортное средство V и стационарный объект Q1 зачастую становятся более удаленными. Другими словами, когда изображение с высоты птичьего полета является смещенным (позиционно совмещенным), позиции транспортного средства V и стационарного объекта Q1 имеют тенденцию приближаться друг к другу, и некоторое число пикселов (краев), которые могут быть характеристиками, обнаруживаются в разностном изображении PD_t. Когда изображение с высоты птичьего полета не смещается, как показано на фиг. 29(b), позиция стационарного объекта Q1 имеет тенденцию становиться отличающейся от предыдущего изображения с высоты птичьего полета по мере того, как движется транспортное средство V, и множество пикселов (краев), которые могут быть характеристиками, обнаруживаются в разностном изображении PD_t. Если имеется множество пикселов (краев) в разностном изображении PD_t, интегрированное значение в информации распределения яркости стремится быть высоким, а если существует некоторое число пикселов (краев) в разностном изображении PD_t, интегрированное значение в информации распределения яркости стремится быть низким.

[0223] Технология, описанная выше, аналогично может применяться в случаях использования информации краев.

Другими словами, в виде с высоты птичьего полета, модуль 34 оценки трехмерных объектов позиционно совмещает позицию первого изображения при виде с высоты птичьего полета, полученного в первое время T0, когда обнаруживается трехмерный объект, и позицию второго изображения при виде с высоты птичьего полета, полученного во второе время T1 после первого времени. Модуль 34 оценки трехмерных объектов затем находит первое интегрированное значение первой информации распределения яркости, созданное посредством подсчета числа пикселов, в которых яркостное различие во взаимно смежных областях изображения составляет, по меньшей мере, предварительно определенное пороговое значение, и создания частотного распределения в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета. Другими словами, смещенное разностное изображение создается с учетом величины перемещения транспортного средства V. Величина d′ смещения является величиной перемещения в данных изображений при виде с высоты птичьего полета, соответствующих фактическому проезжаемому расстоянию транспортного средства V, показанного на фиг. 4(a), и величина d′ смещения определяется на основе сигнала из датчика 20 скорости транспортного средства и длительности от непосредственно предшествующего момента времени до текущего времени. Первое интегрированное значение является совокупным значением предварительно определенных областей или всех значений, проиллюстрированных в качестве первой информации распределения яркости.

[0224] Модуль 34 оценки трехмерных объектов находит второе интегрированное значение второй информации распределения яркости, созданное посредством подсчета числа пикселов, в которых яркостное различие во взаимно смежных областях изображения составляет, по меньшей мере, предварительно определенное пороговое значение, и создания частотного распределения в разностном изображении для первого изображения при виде с высоты птичьего полета, полученного в первое время T0, и второго изображения при виде с высоты птичьего полета, полученного во второе время T1, который находится после первого времени T0. Другими словами, создается разностное изображение, которое не смещается, и вычисляется его интегрированное значение (второе интегрированное значение). Второе интегрированное значение является совокупным значением предварительно определенных областей или всех значений, проиллюстрированных в качестве второй информации распределения яркости.

[0225] Модуль 34 оценки трехмерных объектов оценивает то, что трехмерный объект, обнаруженный посредством модуля 33 обнаружения трехмерных объектов, является "движущимся объектом", когда значение оценки, которое соответствует числу раз, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, равно или превышает предварительно определенное пороговое значение оценки. Способ для вычисления значения для оценки не ограничивается, но в настоящем варианте осуществления, точки оценки подсчитываются в прямом порядке каждый раз, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, в процессе, повторяемом в предварительно определенных циклах, и совокупное значение этих точек находится в качестве "значения оценки".

[0226] Таким образом, на основе соотношения абсолютных величин между количеством пикселов (количеством краев), извлеченным из разностного изображения для смещенного (позиционно совмещенного) предыдущего изображения с высоты птичьего полета и текущего изображения с высоты птичьего полета, на основе изображений с высоты птичьего полета в разные моменты времени и количеством пикселов (количеством краев), извлеченным из разностного изображения для несмещенного (позиционно несовмещенного) предыдущего изображения с высоты птичьего полета и текущего изображения с высоты птичьего полета, можно различать между характеристиками перехода изображения движущегося объекта и характеристиками перехода изображения (естественного) стационарного объекта и оценивать с высокой точностью то, является трехмерный объект движущимся объектом или стационарным объектом, к примеру, естественным объектом.

[0227] Модуль 34 оценки трехмерных объектов настоящего варианта осуществления прибавляет первое подсчитанное значение для того, чтобы вычислять значение оценки, когда первое интегрированное значение пикселов (количество краев), представляющее предварительно определенную разность в разностном изображении с несмещенным (позиционно несовмещенным) изображением, оценивается как превышающее второе интегрированное значение пикселов (количество краев), представляющее предварительно определенную разность в разностном изображении со смещенным (позиционно совмещенным) изображением. Другими словами, значение оценки увеличивается по мере того, как выполняется все больше оценок того, что первое интегрированное значение превышает второе интегрированное значение. Когда значение оценки равно или превышает предварительно определенное пороговое значение оценки, трехмерный объект, обнаруженный посредством модуля 33 или 37 обнаружения трехмерных объектов, оценивается в качестве движущегося объекта, такого как другое транспортное средство VX.

[0228] В этом процессе, когда продолжается оценка в отношении того, что первое интегрированное значение превышает второе интегрированное значение, модуль 34 оценки трехмерных объектов задает более высокое первое подсчитанное значение по мере того, как увеличивается число этих непрерывных оценок. Таким образом, когда продолжается оценка того, что первое интегрированное значение превышает второе интегрированное значение, точность оценки того, что обнаруженный трехмерный объект является движущимся объектом, оценивается как высокая, первое подсчитанное значение увеличивается таким образом, что значение оценки становится еще больше, и, следовательно, можно оценивать с высокой точностью то, является или нет трехмерный объект движущимся объектом, на основе последовательных результатов наблюдения.

[0229] Модуль 34 оценки трехмерных объектов может прибавлять

первое подсчитанное значение, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, и может вычитать второе подсчитанное значение для того, чтобы вычислять значение оценки, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения. В этом случае, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, первое интегрированное значение после этого оценивается как меньшее второго интегрированного значения, и затем первое интегрированное значение оценивается как превышающее второе интегрированное значение, модуль 34 оценки трехмерных объектов может задавать более высокое второе подсчитанное значение.

[0230] Таким образом, в случае переключения между оценками того, что первое интегрированное значение превышает второе интегрированное значение, и оценками того, что второе интегрированное значение превышает первое интегрированное значение, оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является стационарным объектом, таким как естественный объект, имеющий нерегулярность, и второе подсчитанное значение увеличивается, с тем чтобы понижать значение оценки для оценки движущегося объекта. Следовательно, можно оценивать стационарные объекты, такие как естественные объекты, и, следовательно, движущиеся объекты, с высокой точностью на основе последовательных результатов наблюдения. Этот результат оценки также может быть использован в качестве результата оценки для естественных объектов, включающих в себя придорожные посадки и снег. В этой связи, есть сильная тенденция для стабильного наблюдения обнаруженного состояния характеристик движущегося объекта. Это обусловлено тем, что когда результат оценки того, что трехмерный объект является естественным объектом, дискретно обнаруживается, и результат обнаружения является нестабильным, вероятность того, что обнаруженный трехмерный объект является стационарным объектом, таким как естественный объект, может оцениваться как высокая.

[0231] Модуль 34 оценки трехмерных объектов вычитает второе подсчитанное значение для того, чтобы вычислять значение оценки, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения. В этом случае, модуль 34 оценки трехмерных объектов задает более высокое второе подсчитанное значение, когда оценка того, что первое интегрированное значение меньше второго интегрированного значения, продолжается, по меньшей мере, предварительно определенное число раз.

[0232] Таким образом, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения, оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является стационарным объектом, и второе подсчитанное значение, связанное с вычитанием, увеличивается, с тем чтобы уменьшать значение оценки для оценки движущегося объекта. Следовательно, можно оценивать движущиеся объекты с высокой степенью точности на основе последовательных результатов наблюдения.

[0233] Фиг. 30 является блок-схемой последовательности операций способа, показывающей управляющую процедуру для процесса оценки движущихся объектов настоящего варианта осуществления.

[0234] Во-первых, на этапе S81, модуль 34 оценки трехмерных объектов получает изображение в предыдущее время T0, как показано на фиг. 30. Затем, на этапе S82, модуль 34 оценки трехмерных объектов находит смещенное изображение T0A в предыдущее время T0 и несмещенное изображение T0B в предыдущее время T0. Эти изображения могут быть захваченными изображениями или изображениями при виде с высоты птичьего полета, которые подвергнуты преобразованию точки обзора.

[0235] На этапе S83, модуль 34 оценки трехмерных объектов получает изображение T1 в текущее время T1. На следующем этапе S84, модуль 34 оценки трехмерных объектов получает разностное изображение PD_tA для изображения T1 в текущее время T1 и смещенного изображения T0A в предыдущее время T0, а также разностное изображение PD_tB для изображения T1 в текущее время T1 и несмещенного изображения T0B в предыдущее время T0.

[0236] На этапе S85, модуль 34 оценки трехмерных объектов извлекает пикселы, имеющие, по меньшей мере, предварительно определенную разность для пикселного значения, и пикселы, имеющие, по меньшей мере, предварительно определенное значение для яркостного различия, в разностном изображении PD_tA и находит пикселное распределение в каждой позиции. Модуль 34 оценки трехмерных объектов аналогично извлекает пикселы, имеющие, по меньшей мере, предварительно определенную разность для пикселного значения, и пикселы, имеющие, по меньшей мере, предварительно определенное значение для яркостного различия, в разностном изображении PD_tB и находит пикселное распределение в каждой позиции. На следующем этапе S86, модуль 34 оценки трехмерных объектов находит интегрированное значение PA количества пикселов в разностном изображении PD_tA и интегрированное значение PB количества пикселов в разностном изображении PD_tB. Общее количество пикселов может находиться вместо этих интегрированных значений PA, PB.

[0237] На этапе S87, модуль 34 оценки трехмерных объектов сравнивает первое интегрированное значение PA и второе интегрированное значение PB, и когда первое интегрированное значение PA превышает второе интегрированное значение PB; другими словами, когда количество пикселов или первое интегрированное значение PA разностного изображения для смещенного предыдущего изображения T0A и текущего изображения T1 превышает количество пикселов второго интегрированного значения PB разностного изображения для несмещенного предыдущего изображения T0B и текущего изображения T1, процесс переходит к этапу S88, обнаруженный трехмерный объект оценивается в качестве движущегося объекта, такого как другое транспортное средство VX, процесс переходит к этапу S74 по фиг. 26, и процесс подавления обнаружения другого транспортного средства отменяется. Когда первое интегрированное значение PA равно или превышает второе интегрированное значение PB на этапе S87, процесс переходит к этапу S45 по фиг. 25.

[0238] Согласно устройству 1 обнаружения трехмерных объектов, сконфигурированному и активированному, как описано выше, согласно настоящему варианту осуществления настоящего изобретения, достигаются следующие преимущества.

(1) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, нерегулярные точки P1 краев, которые совмещаются нерегулярно и которые не удовлетворяют предварительно установленному условию для искусственного трехмерного объекта, и выполняется оценка того, существуют или нет придорожные посадки и снег, на основе числа L нерегулярных точек P1 краев. Когда в областях A1, A2 обнаружения существует движущийся объект, такой как транспортное средство, точки P краев зачастую легко совмещаются регулярным способом вдоль направления попадания в поле зрения вследствие того, что объект является искусственным объектом. Когда объект представляет собой придорожные посадки и снег, точки P краев рассеиваются нерегулярно, поскольку объект не является искусственным объектом. Следовательно, различие между первыми и вторыми может проводиться на основе числа L нерегулярных точек P1 краев. Следовательно, может повышаться точность оценки придорожных посадок и снега.

Идентичные действия и преимущества достигаются независимо от того, основан процесс на информации форм разностных сигналов или на информации краев.

[0239] (2) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда существует относительно малое число регулярных вторых пикселов и относительно высокое число нерегулярных третьих пикселов, нерегулярность оценивается как высокая, следовательно, нерегулярность захваченного изображения может количественно оцениваться, и присутствие естественных объектов, включающих в себя придорожные посадки и снег, может быть обнаружено с высокой точностью.

[0240] (3) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда число нерегулярных третьих пикселов относительно выше числа регулярных вторых пикселов, нерегулярность оценивается как высокая, следовательно, нерегулярность захваченного изображения может количественно оцениваться, и присутствие естественных объектов, включающих в себя придорожные посадки и снег, может быть обнаружено с высокой точностью.

[0241] (4) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда число нерегулярных третьих пикселов является высоким отношением относительно числа регулярных вторых пикселов или общего числа первых пикселов, нерегулярность оценивается как высокая, следовательно, нерегулярность захваченного изображения может количественно оцениваться, и присутствие естественных объектов, включающих в себя придорожные посадки и снег, может быть обнаружено с высокой точностью.

[0242] (5) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, поскольку вторые пикселы, которые наблюдаются, по меньшей мере, с предварительно определенной плотностью вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, оцениваются в качестве характеристики изображения искусственного трехмерного объекта, вторые пикселы, соответствующие искусственному трехмерному объекту, и пикселы (третьи пикселы), соответствующие естественному неискусственному трехмерному объекту, могут различаться с высокой точностью из числа всех первых пикселов, соответствующих объекту.

[0243] (6) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения естественного объекта Q1 (естественного стационарного объекта), включающего в себя придорожные посадки и снег, вдоль полосы движения, по которой движется транспортное средство V, чувствительность обнаружения может регулироваться посредством повышения первого порогового значения α, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, и, следовательно, можно предотвращать ошибочное обнаружение изображения естественного объекта Q1 (естественного стационарного объекта), включающего в себя придорожные посадки и снег, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0244] (7) Когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения естественного объекта (естественного стационарного объекта), включающего в себя придорожные посадки и снег, вдоль полосы движения, по которой движется транспортное средство V, чувствительность обнаружения может регулироваться посредством понижения выходного значения при создании информации форм разностных сигналов, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, и, следовательно, можно предотвращать ошибочное обнаружение изображения естественного объекта Q1 (естественного стационарного объекта), включающего в себя придорожные посадки и снег, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0245] (8) Когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения естественного объекта (естественного стационарного объекта), включающего в себя придорожные посадки и снег, вдоль полосы движения, по которой движется транспортное средство V, чувствительность обнаружения может регулироваться посредством повышения порогового значения оценки при создании информации краев, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, и, следовательно, можно предотвращать ошибочное обнаружение изображения стационарного объекта Q1, включающего в себя естественные объекты, включающие в себя придорожные посадки и снег, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0246] (9) Когда трехмерный объект, обнаруженный в предыдущем процессе, оценивается в качестве изображения естественного объекта (естественного стационарного объекта), включающего в себя придорожные посадки и снег, вдоль полосы движения, по которой движется транспортное средство V, чувствительность обнаружения может регулироваться посредством понижения выходного значения при создании информации краев, с тем чтобы препятствовать обнаружению другого транспортного средства VX, движущегося по полосе, смежной с полосой движения, по которой движется транспортное средство V, и, следовательно, можно предотвращать ошибочное обнаружение изображения естественного объекта Q1 (естественного стационарного объекта), включающего в себя придорожные посадки и снег, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0247] (10) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, процесс обнаружения трехмерных объектов может быть выполнен с высокой точностью, поскольку на основе соотношения абсолютных величин между количеством пикселов (количеством краев), извлеченным из разностного изображения для смещенного предыдущего изображения с высоты птичьего полета и текущего изображения с высоты птичьего полета на основе изображений с высоты птичьего полета в разные моменты времени, и количеством пикселов (количеством краев), извлеченным из разностного изображения для несмещенного предыдущего изображения с высоты птичьего полета и текущего изображения с высоты птичьего полета, можно различать между характеристиками перехода изображения движущегося объекта и характеристиками перехода изображения стационарного объекта и отменять процесс подавления трехмерных объектов, когда трехмерный объект является движущимся объектом.

[0248] (11) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда продолжается оценка того, что первое интегрированное значение превышает второе интегрированное значение, вероятность того, что обнаруженный трехмерный объект является движущимся объектом, оценивается как высокая, и первое подсчитанное значение увеличивается таким образом, что значение оценки для оценки движущихся объектов увеличивается еще больше; следовательно, движущиеся объекты могут оцениваться с высокой точностью на основе последовательных результатов наблюдения.

[0249] (12) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, в случае переключения между оценками того, что первое интегрированное значение превышает второе интегрированное значение, и оценками того, что второе интегрированное значение превышает первое интегрированное значение, оценивается в качестве высокой вероятности то, что обнаруженный трехмерный объект является стационарным объектом (включающим в себя естественные объекты), и второе подсчитанное значение для вычитания увеличивается, с тем чтобы понижать значение оценки для оценки движущихся объектов. Следовательно, можно оценивать движущиеся объекты с высокой точностью на основе последовательных результатов наблюдения.

[0250] (13) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения, вероятность того, что обнаруженный трехмерный объект является стационарным объектом, оценивается как высокая, и второе подсчитанное значение, связанное с вычитанием, увеличивается, с тем чтобы понижать значение оценки, и, следовательно, можно оценивать стационарные объекты с высокой точностью на основе последовательных результатов наблюдения.

[0251] (14) Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления формирует идентичные действия и преимущества как в случаях, в которых другие транспортные средства VX обнаруживаются посредством процесса на основе информации форм разностных сигналов, так и в случаях, в которых другие транспортные средства VX обнаруживаются посредством процесса на основе информации краев.

[0252] Камера 10 является эквивалентной средству формирования изображений согласно настоящему изобретению, модуль 31 преобразования точки обзора является эквивалентным средству преобразования изображений согласно настоящему изобретению, модуль 32 позиционного совмещения и модуль 33 обнаружения трехмерных объектов являются эквивалентными средству обнаружения трехмерных объектов согласно настоящему изобретению, контроллер 35 яркостного различия, модуль 36 обнаружения линий краев и модуль 37 обнаружения трехмерных объектов являются эквивалентными средству обнаружения трехмерных объектов согласно настоящему изобретению, модуль 34 оценки трехмерных объектов является эквивалентным средству оценки трехмерных объектов, модуль 38 оценки естественных объектов является эквивалентным средству оценки естественных объектов, модуль 39 управления является эквивалентным средству управления, и датчик 20 скорости транспортного средства является эквивалентным датчику скорости транспортного средства.

[0253] Модуль 32 позиционного совмещения в настоящем варианте осуществления позиционно совмещает позиции изображений при виде с высоты птичьего полета в разные моменты времени в виде с высоты птичьего полета и получает позиционно совмещенное изображение при виде с высоты птичьего полета, но этот процесс "позиционного совмещения" может быть выполнен с точностью, соответствующей типу цели обнаружения, или с требуемой точностью обнаружения. Процесс позиционного совмещения может быть строгим, заключая в себе позиционное совмещение с использованием времени и позиции, идентичных стандартному времени и позиции, или процесс позиционного совмещения может быть нестрогим, достаточным только для того, чтобы воспринимать координаты разных изображений при виде с высоты птичьего полета.

ПОЯСНЕНИЯ ССЫЛОЧНЫХ ПОЗИЦИЙ

[0254] 1 - устройство обнаружения трехмерных объектов

10 - камера

20 - датчик скорости транспортного средства

30 - контроллер

31 - модуль преобразования точки обзора

32 - модуль позиционного совмещения

33, 37 - модули обнаружения трехмерных объектов

34 - модуль оценки трехмерных объектов

35 - контроллер яркостного различия

36 - модуль обнаружения линий краев

38 - модуль оценки естественных объектов

40 - модуль обнаружения размытостей

A1, A2 - области обнаружения

CP - точки пересечения

DP - разностные пикселы

DW_t, DW_t′ - формы разностных сигналов

DW_t1-DW_m, DW_m+k-DW_tn - малые области

L1, L2 - линии на земной поверхности

La, Lb - линии в направлении попадания в поле зрения трехмерного объекта

P - захваченное изображение

PB_t - изображение при виде с высоты птичьего полета

PD_t - разностное изображение

MP - изображение с маской

S - размытость

SP - изображение с размытостью

SB_t - изображение при виде с высоты птичьего полета с размытостью

V - транспортное средство

VX - другое транспортное средство

Изобретение относится к устройствам обнаружения трехмерных объектов. Техническим результатом является повышение точности оценки естественных трехмерных объектов. Устройство, содержит: модули обнаружения трехмерных объектов для обнаружения трехмерных объектов на основе информации изображений задней части транспортного средства из камеры, модуль оценки естественных объектов для оценки того, что обнаруженный трехмерный объект является естественным объектом, включающим в себя придорожные посадки или снег, на основе значения оценки нерегулярности, вычисленного на основе числа первых пикселов для первых пикселов, представляющих первую предварительно определенную разность в разностном изображении, содержащем обнаруженный трехмерный объект, и числа вторых пикселов для вторых пикселов, соответствующих трехмерному объекту и представляющих вторую предварительно определенную разность, превышающую первую предварительно определенную разность, и модуль управления для управления различными процессами, причем модуль управления подавляет оценку того, что обнаруженный трехмерный объект является другим транспортным средством, когда обнаруженный трехмерный объект оценивается посредством модуля оценки естественных объектов в качестве естественного объекта. 4 н. и 22 з.п. ф-лы, 30 ил.

1. Устройство обнаружения трехмерных объектов, содержащее:
- средство формирования изображений, установленное на транспортном средстве для формирования изображений задней части транспортного средства;
- средство преобразования изображений для преобразования точки обзора изображения, полученного посредством средства формирования изображений, в изображение при виде с высоты птичьего полета;
- средство создания информации форм разностных сигналов для создания информации форм разностных сигналов посредством совмещения позиций изображений при виде с высоты птичьего полета в разные моменты времени, полученных посредством средства преобразования изображений в виде с высоты птичьего полета, и подсчета и создания частотного распределения числа пикселов, представляющих предварительно определенную разность в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета;
- средство обнаружения трехмерных объектов для обнаружения трехмерных объектов, которые включаются в информацию форм разностных сигналов, и которые присутствуют в областях обнаружения, заданных с левой и правой сторон позади транспортного средства, на основе подсчитанной частоты числа пикселов, представляющих предварительно определенную разность в разностном изображении вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора; и
- средство оценки естественных объектов для вычисления значения оценки нерегулярности для оценки нерегулярности информации форм разностных сигналов на основе числа первых пикселов для первых пикселов, представляющих первую предварительно определенную разность в разностном изображении, содержащем обнаруженный трехмерный объект, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые представляют вторую предварительно определенную разность, превышающую первую предварительно определенную разность в разностном изображении, и для оценки того, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство, когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее.

2. Устройство обнаружения трехмерных объектов по п. 1, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда число вторых пикселов меньше первого предварительно определенного значения, и число третьих пикселов равно или превышает второе предварительно определенное значение.

3. Устройство обнаружения трехмерных объектов по п. 1, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда значение вычитания числа вторых пикселов из числа третьих пикселов равно или превышает третье предварительно определенное значение.

4. Устройство обнаружения трехмерных объектов по п. 1, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов;
- вычисляет количественное соотношение числа третьих пикселов относительно числа первых пикселов или числа вторых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда количественное соотношение числа третьих пикселов относительно либо числа первых пикселов, либо числа вторых пикселов равно или превышает предварительно определенное соотношение.

5. Устройство обнаружения трехмерных объектов по любому из пп. 1-4, в котором средство оценки естественных объектов:
- обозначает, в качестве вторых пикселов, пикселы, которые извлекаются вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые, из пикселов, представляющих вторую предварительно определенную разность, составляют группу пикселов, совмещенную, по меньшей мере, с предварительно определенной плотностью, и находит число этих вторых пикселов в качестве числа вторых пикселов.

6. Устройство обнаружения трехмерных объектов по п. 1, дополнительно содержащее:
- средство оценки трехмерных объектов для оценки того, является или нет трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, другим транспортным средством в областях обнаружения; и
- средство управления для осуществления управления для подавления оценки того, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является другим транспортным средством, когда средство оценки естественных объектов оценило то, что обнаруженный трехмерный объект является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

7. Устройство обнаружения трехмерных объектов по п. 6, в котором средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации форм разностных сигналов и первого порогового значения α; и
- средство управления выводит в средство обнаружения трехмерных объектов команду управления для повышения первого порогового значения α, с тем чтобы препятствовать обнаружению трехмерного объекта, когда обнаруженный трехмерный объект оценивается посредством средства оценки естественных объектов в качестве естественного объекта, включающего в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

8. Устройство обнаружения трехмерных объектов по п. 6, в котором средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа пикселов информации форм разностных сигналов и первого порогового значения α; и
- средство управления создает команду управления для понижения значения числа пикселов, представляющих предварительно определенную разность в разностном изображении изображений при виде с высоты птичьего полета, и выводит команду управления в средство обнаружения трехмерных объектов, когда обнаруженный трехмерный объект оценивается посредством средства оценки естественных объектов в качестве естественного объекта, включающего в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

9. Устройство обнаружения трехмерных объектов по любому из пп. 6-8, в котором средство оценки трехмерных объектов позиционно совмещает позицию первого изображения при виде с высоты птичьего полета, полученного в первое время, когда обнаруживается трехмерный объект, и позицию второго изображения при виде с высоты птичьего полета, полученного во второе время после первого времени в виде с высоты птичьего полета, находит первое интегрированное значение первой информации форм разностных сигналов, созданной посредством подсчета и создания частотного распределения числа пикселов, представляющих предварительно определенную разность в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета, находит второе интегрированное значение второй информации форм разностных сигналов, созданной посредством подсчета и создания частотного распределения числа пикселов, представляющих предварительно определенную разность в разностном изображении для первого изображения при виде с высоты птичьего полета, полученного в первое время, и второго изображения при виде с высоты птичьего полета, полученного во второе время после первого времени, и оценивает то, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является движущимся объектом, когда значение оценки, соответствующее числу раз, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, равно или превышает предварительно определенное пороговое значение оценки; и
- средство управления прекращает процесс подавления оценки обнаруженного трехмерного объекта в качестве другого транспортного средства, когда трехмерный объект оценивается посредством средства оценки трехмерных объектов в качестве движущегося объекта.

10. Устройство обнаружения трехмерных объектов по п. 9, в котором средство оценки трехмерных объектов прибавляет первое подсчитанное значение для того, чтобы вычислить значение оценки, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение; и
- задает более высокое первое подсчитанное значение в ответ на большее число непрерывных оценок, когда продолжается оценка того, что первое интегрированное значение превышает второе интегрированное значение.

11. Устройство обнаружения трехмерных объектов по п. 9, в котором средство оценки трехмерных объектов вычисляет значение оценки посредством прибавления первого подсчитанного значения, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, и вычитания второго подсчитанного значения, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения; и
- задает более высокое второе подсчитанное значение, когда выполняется оценка того, что первое интегрированное значение превышает второе интегрированное значение, затем выполняется оценка того, что первое интегрированное значение меньше второго интегрированного значения, и после этого выполняется оценка того, что первое интегрированное значение превышает второе интегрированное значение.

12. Устройство обнаружения трехмерных объектов по п. 9, в котором средство оценки трехмерных объектов:
- вычитает второе подсчитанное значение для того, чтобы вычислить значение оценки, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения; и
- задает более высокое второе подсчитанное значение, когда оценка того, что первое интегрированное значение меньше второго интегрированного значения, продолжается, по меньшей мере, предварительно определенное число раз.

13. Устройство обнаружения трехмерных объектов, содержащее:
- средство формирования изображений, установленное на транспортном средстве для формирования изображений задней части транспортного средства;
- средство преобразования изображений для преобразования точки обзора изображения, полученного посредством средства формирования изображений, в изображение при виде с высоты птичьего полета;
- средство создания информации краев для извлечения пикселов, в которых яркостное различие смежных областей изображения равно или превышает предварительно определенное пороговое значение в изображении при виде с высоты птичьего полета, полученном посредством средства преобразования изображений, и создания информации краев на основе этих пикселов;
- средство обнаружения трехмерных объектов для обнаружения трехмерных объектов, которые включаются в информацию краев, и которые присутствуют в областях обнаружения, заданных с левой и правой сторон позади транспортного средства, на основе информации краев, включающей в себя пикселы, которые извлекаются вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые имеют яркостное различие смежных областей изображения, равное или превышающее предварительно определенное пороговое значение; и
- средство оценки естественных объектов для вычисления значения оценки нерегулярности для оценки нерегулярности информации краев на основе числа первых пикселов для первых пикселов, в которых яркостное различие смежных областей изображения в изображении с высоты птичьего полета, содержащем обнаруженный трехмерный объект, равно или превышает первое предварительно определенное пороговое значение, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и в которых яркостное различие смежных областей изображения в изображении с высоты птичьего полета равно или превышает второе предварительно определенное пороговое значение, превышающее первое предварительно определенное пороговое значение, и для оценки того, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство, когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее.

14. Устройство обнаружения трехмерных объектов по п. 13, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда число вторых пикселов меньше первого предварительно определенного значения, и число третьих пикселов равно или превышает второе предварительно определенное значение.

15. Устройство обнаружения трехмерных объектов по п. 13, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда значение вычитания числа вторых пикселов из числа третьих пикселов равно или превышает третье предварительно определенное значение.

16. Устройство обнаружения трехмерных объектов по п. 13, в котором средство оценки естественных объектов:
- вычисляет число третьих пикселов посредством вычитания числа вторых пикселов из числа первых пикселов;
- вычисляет количественное соотношение числа третьих пикселов относительно числа первых пикселов или числа вторых пикселов; и
- оценивает то, что значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, когда количественное соотношение числа третьих пикселов относительно либо числа первых пикселов, либо числа вторых пикселов равно или превышает предварительно определенное соотношение.

17. Устройство обнаружения трехмерных объектов по любому из пп. 13-16, в котором средство оценки естественных объектов:
- обозначает, в качестве вторых пикселов, пикселы, которые извлекаются вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые, из пикселов, в которых яркостное различие смежных областей изображения в изображении с высоты птичьего полета равно или превышает второе предварительно определенное пороговое значение, составляют группу пикселов, совмещенную, по меньшей мере, с предварительно определенной плотностью, и находит число этих вторых пикселов в качестве числа вторых пикселов.

18. Устройство обнаружения трехмерных объектов по п. 13, дополнительно содержащее:
- средство оценки трехмерных объектов для оценки того, является или нет трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, другим транспортным средством в областях обнаружения; и
- средство управления для осуществления управления для подавления оценки того, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является другим транспортным средством, когда средство оценки естественных объектов оценило то, что обнаруженный трехмерный объект является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

19. Устройство обнаружения трехмерных объектов по п. 18, в
котором средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации краев и второго порогового значения β; и
- средство управления выводит в средство обнаружения трехмерных объектов команду управления для повышения второго порогового значения β, с тем чтобы препятствовать обнаружению трехмерного объекта, когда обнаруженный трехмерный объект оценивается посредством средства оценки естественных объектов в качестве естественного объекта, включающего в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

20. Устройство обнаружения трехмерных объектов по п. 18, в котором средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе объема информации краев и второго порогового значения β; и
- средство управления выводит в средство обнаружения трехмерных объектов команду управления для вывода меньшего объема обнаруженной информации краев, когда обнаруженный трехмерный объект оценивается посредством средства оценки естественных объектов в качестве естественного объекта, включающего в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство.

21. Устройство обнаружения трехмерных объектов по любому из пп. 18-20, в котором средство оценки трехмерных объектов содержит средство оценки естественных объектов для позиционного совмещения позиции первого изображения при виде с высоты птичьего полета, полученного в первое время, когда обнаруживается трехмерный объект, и позиции второго изображения при виде с высоты птичьего полета, полученного во второе время после первого времени в виде с высоты птичьего полета, нахождения первого интегрированного значения первой информации распределения яркости, созданной посредством подсчета и создания частотного распределения числа пикселов, в которых яркостное различие смежных областей изображения равно или превышает предварительно определенное пороговое значение в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета, нахождения второго интегрированного значения второй информации распределения яркости, созданной посредством подсчета и создания частотного распределения числа пикселов, в которых яркостное различие смежных областей изображения равно или превышает предварительно определенное пороговое значение в разностном изображении для первого изображения при виде с высоты птичьего полета, полученного в первое время, и второго изображения при виде с высоты птичьего полета, полученного во второе время после первого времени, и оценки того, что трехмерный объект, обнаруженный посредством средства обнаружения трехмерных объектов, является движущимся объектом, когда значение оценки, соответствующее числу раз, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, равно или превышает предварительно определенное пороговое значение оценки.

22. Устройство обнаружения трехмерных объектов по п. 21, в котором средство оценки трехмерных объектов прибавляет первое подсчитанное значение для того, чтобы вычислить значение оценки, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение; и
- задает более высокое первое подсчитанное значение в ответ на большее число непрерывных оценок, когда продолжается оценка того, что первое интегрированное значение превышает второе интегрированное значение.

23. Устройство обнаружения трехмерных объектов по п. 21, в котором средство оценки трехмерных объектов вычисляет значение оценки посредством прибавления первого подсчитанного значения, когда первое интегрированное значение оценивается как превышающее второе интегрированное значение, и вычитания второго подсчитанного значения, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения; и
- задает более высокое второе подсчитанное значение, когда выполняется оценка того, что первое интегрированное значение превышает второе интегрированное значение, затем выполняется оценка того, что первое интегрированное значение меньше второго интегрированного значения, и после этого выполняется оценка того, что первое интегрированное значение превышает второе интегрированное значение.

24. Устройство обнаружения трехмерных объектов по п. 21, в котором средство оценки трехмерных объектов:
- вычитает второе подсчитанное значение для того, чтобы вычислить значение оценки, когда первое интегрированное значение оценивается как меньшее второго интегрированного значения; и
- задает более высокое второе подсчитанное значение, когда оценка того, что первое интегрированное значение меньше второго интегрированного значения, продолжается, по меньшей мере, предварительно определенное число раз.

25. Способ обнаружения трехмерных объектов, содержащий этапы, на которых:
- преобразуют в изображение при виде с высоты птичьего полета точку обзора изображения, полученного посредством средства формирования изображений, установленного на транспортном средстве для формирования изображений задней части транспортного средства;
- создают информацию форм разностных сигналов посредством совмещения позиций полученных изображений при виде с высоты птичьего полета в разные моменты времени в виде с высоты птичьего полета и подсчета и создания частотного распределения числа пикселов, представляющих предварительно определенную разность в разностном изображении позиционно совмещенных изображений при виде с высоты птичьего полета;
- обнаруживают трехмерные объекты, которые включаются в информацию форм разностных сигналов, и которые присутствуют в областях обнаружения, заданных с левой и правой сторон позади транспортного средства, на основе подсчитанной частоты числа пикселов, представляющих предварительно определенную разность в разностном изображении вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора; и
- вычисляют значение оценки нерегулярности для оценки нерегулярности информации форм разностных сигналов на основе числа первых пикселов для первых пикселов, представляющих первую предварительно определенную разность в разностном изображении, содержащем обнаруженный трехмерный объект, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые представляют вторую предварительно определенную разность, превышающую первую предварительно определенную разность в разностном изображении, и оценки того, что обнаруженный трехмерный объект является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство, когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее.

26. Способ обнаружения трехмерных объектов, содержащий этапы, на которых:
- преобразуют в изображение при виде с высоты птичьего полета точку обзора изображения, полученного посредством средства формирования изображений, установленного на транспортном средстве для формирования изображений задней части транспортного средства;
- извлекают пикселы, в которых яркостное различие смежных областей изображения равно или превышает предварительно определенное пороговое значение в полученном изображении при виде с высоты птичьего полета, и создают информацию краев на основе этих пикселов;
- обнаруживают трехмерные объекты, которые включаются в информацию краев и которые присутствуют в областях обнаружения, заданных с левой и правой сторон позади транспортного средства, на основе информации краев, включающей в себя пикселы, которые извлекаются вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и которые имеют яркостное различие смежных областей изображения, равное или превышающее предварительно определенное пороговое значение; и
- вычисляют значение оценки нерегулярности для оценки нерегулярности информации краев на основе числа первых пикселов для первых пикселов, в которых яркостное различие смежных областей изображения в изображении с высоты птичьего полета, содержащем обнаруженный трехмерный объект, равно или превышает первое предварительно определенное пороговое значение, и числа вторых пикселов для вторых пикселов, которые извлечены вдоль направления, в котором попадает в поле зрения трехмерный объект, когда изображение при виде с высоты птичьего полета подвергается преобразованию точки обзора, и в которых яркостное различие смежных областей изображения в изображении с высоты птичьего полета равно или превышает второе предварительно определенное пороговое значение, превышающее первое предварительно определенное пороговое значение, и для оценки того, что обнаруженный трехмерный объект является естественным объектом, включающим в себя придорожные посадки или снег, присутствующий вдоль полосы движения, по которой движется транспортное средство, когда вычисленное значение оценки нерегулярности равно или превышает предварительно определенное пороговое значение оценки нерегулярности, заданное заранее.