УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНОГО ОБЪЕКТА И СПОСОБ ОБНАРУЖЕНИЯ ТРЕХМЕРНОГО ОБЪЕКТА Российский патент 2015 года по МПК G06T7/40 G06T17/30 B60R1/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству обнаружения трехмерного объекта и способу обнаружения трехмерного объекта.

УРОВЕНЬ ТЕХНИКИ

Традиционно было предложено устройство обнаружения трехмерного объекта, которое обнаруживает горизонтальные края или вертикальные края в реальном пространстве исходя из вида с высоты птичьего полета, полученного подверганием захваченного изображения преобразованию точки обзора в точку обзора с высоты птичьего полета, а затем обнаруживает трехмерный объект, такой как транспортное средство, используя количество этих краев. В этом устройстве обнаружения трехмерного объекта вертикальные края в реальном пространстве проецируются и появляются на виде с высоты птичьего полета в качестве группы радиальных прямых линий, пересекающих точку обзора камеры. На основе этих сведений устройство обнаружения трехмерного объекта обнаруживает трехмерный объект, обнаруживая вертикальные края, а затем используя количество вертикальных краев (см. патентный документ 1).

ДОКУМЕНТ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЙ ДОКУМЕНТ

Патентный документ 1: Публикация № Hei 4-163249 заявки на патент Японии

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Однако трехмерный объект на виде с высоты птичьего полета, полученном подверганием захваченного изображения преобразованию точки обзора в точку обзора с высоты птичьего полета, растягивается в зависимости от его высоты. Соответственно, на виде с высоты птичьего полета край, появляющийся в верхнем положении трехмерного объекта (край в верхнем положении в реальном пространстве), имеет более низкое разрешение, чем край в нижнем положении трехмерного объекта (край в нижнем положении в реальном пространстве). Между тем ширина края в нижнем положении трехмерного объекта становится меньшей.

Отсюда возникает проблема, когда края обнаруживаются посредством использования дифференциального фильтра три пикселя на три пикселя, как в технологии, описанной в патентном документе 1. Что касается края в верхнем положении трехмерного объекта, край, который присутствует фактически, может не обнаруживаться вследствие своего низкого разрешения. Что касается края в нижнем положении трехмерного объекта, край может определяться в качестве шума и не обнаруживаться в качестве края вследствие своей малой ширины. Вследствие этих причин устройство обнаружения трехмерного объекта, описанное в патентном документе 1, имеет такую проблему, что ухудшается точность обнаружения трехмерного объекта.

Настоящее изобретение было сделано, чтобы решить такую проблему предшествующего уровня техники, и его цель состоит в том, чтобы предоставить устройство обнаружения трехмерного объекта и способ обнаружения трехмерного объекта, допускающие улучшение точности обнаружения трехмерного объекта.

РЕШЕНИЕ ПРОБЛЕМЫ

Для решения вышеупомянутой проблемы настоящее изобретение создает изображение вида с высоты птичьего полета, выполняя обработку преобразования точки обзора над изображением, захваченным средством захвата изображений, затем вычисляет для каждого из множества положений вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, яркостное различие между двумя пикселями возле положения и обнаруживает трехмерный объект на основе непрерывностей вычисленных яркостных различий соответственных положений.

ЭФФЕКТ ИЗОБРЕТЕНИЯ

В настоящем изобретении, когда изображение предопределенной зоны осматривается из точки обзора с высоты птичьего полета, устанавливается вертикальная воображаемая линия, тянущаяся в вертикальном направлении в реальном пространстве, и трехмерный объект обнаруживается на основании непрерывностей яркостных различий вдоль вертикальной воображаемой линии. Более точно, в настоящем изобретении, когда яркостные различия высоки, край трехмерного объекта вероятно должен существовать на участке с высоким яркостным контрастом. Таким образом, трехмерный объект может обнаруживаться на основании непрерывных яркостных различий. В частности, поскольку два пикселя вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, сравниваются друг с другом, обнаружение не находится под влиянием явления, при котором трехмерный объект растягивается в зависимости от высоты от поверхности дороги, это явление вызвано преобразованием точки обзора для преобразования захваченного изображения в изображение вида с высоты птичьего полета. Соответственно, в настоящем изобретении может быть улучшена точность обнаружения трехмерного объекта.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - схема конфигурации устройства обнаружения трехмерного объекта по варианту осуществления, которая является структурной схемой, показывающей пример, где устройство обнаружения трехмерного объекта установлено на транспортном средстве.

Фиг.2 - вид, показывающий зону захвата изображения камеры в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) - вид сверху, показывающий взаимное расположение между зонами обнаружения и т.п., и часть (b) - вид в перспективе, показывающий взаимное расположение между зонами обнаружения и т.п. в реальном пространстве.

Фиг.3 - структурная схема, показывающая функциональную конфигурацию устройства обнаружения трехмерного объекта, показанного в качестве первого варианта осуществления.

Фиг.4 - вид, показывающий операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точкой внимания и опорной точкой на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точкой внимания и опорной точкой в реальном пространстве.

Фиг.5 - вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между линией внимания, опорной линией, точками внимания и опорными точками на изображении вида с высоты птичьего полета.

Фиг.6 - вид, показывающий краевые линии и распределение яркости на каждой из краевых линий, на котором часть (a) показывает краевую линию и распределение яркости на краевой линии в случае, где трехмерный объект (транспортное средство) существует в зоне обнаружения, и часть (b) показывает краевую линию и распределение яркости на краевой линии в случае, где трехмерный объект существует в зоне обнаружения.

Фиг.7 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве первого варианта осуществления.

Фиг.8 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве первого варианта осуществления.

Фиг.9 - вид, показывающий пример изображения для пояснения операции обнаружения краев в устройстве обнаружения трехмерного объекта, показанном в качестве первого варианта осуществления.

Фиг.10 - вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между вертикальной воображаемой линией L, первыми опорными точками и вторыми опорными точками на изображении вида с высоты птичьего полета.

Фиг.11 - блок-схема последовательности операций способа, показывающая общую работу в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления.

Фиг.12 - блок-схема последовательности операций способа, показывающая операцию обнаружения для вертикального края, которая выполняется устройством обнаружения трехмерного объекта, показанным в качестве второго варианта осуществления.

Фиг.13 - другой вид, показывающий подробные операции части вычисления яркостного различия в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления, на котором часть (a) показывает зону обнаружения на изображении вида с высоты птичьего полета, и часть (b) - вид, показывающий взаимное расположение между вертикальной воображаемой линией L, первыми опорными точками и вторыми опорными точками на изображении вида с высоты птичьего полета.

Фиг.14 - пояснительная схема изменения порогового значения в зависимости от взаимного расположения между вертикальной воображаемой линией, первыми опорными точками и вторыми опорными точками, в устройстве обнаружения трехмерного объекта, показанном в качестве второго варианта осуществления.

Фиг.15 - блок-схема последовательности операций способа, показывающая другую операцию обнаружения вертикального края, которая выполняется устройством обнаружения трехмерного объекта, показанным в качестве второго варианта осуществления.

Фиг.16 - структурная схема, показывающая функциональную конфигурацию устройства обнаружения трехмерного объекта, показанного в качестве третьего варианта осуществления.

Фиг.17 - вид, показывающий операции части вычисления интенсивности края в устройстве обнаружения трехмерного объекта, показанном в качестве третьего варианта осуществления, на котором часть (a) - вид, показывающий зависимость между зоной обнаружения, линией L_a внимания и интенсивностью края в изображении вида с высоты птичьего полета, в котором существует трехмерный объект, и часть (b) - вид, показывающий зависимость между зоной обнаружения, линией L_a внимания и интенсивностью края в изображении вида с высоты птичьего полета, в котором не существует трехмерный объект.

Фиг.18 - блок-схема последовательности операций способа, показывающая рабочие процедуры, выполняемые устройством обнаружения трехмерного объекта, показанным в качестве третьего варианта осуществления.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Варианты осуществления настоящего изобретения описаны ниже на основании чертежей. Фиг.1 - схема конфигурации устройства 1 обнаружения трехмерного объекта по вариантам осуществления. В вариантах осуществления показаны примеры, в которых устройство 1 обнаружения трехмерного объекта установлено на транспортном средстве V1. Как показано на фиг.1, устройство 1 обнаружения трехмерного объекта включает в себя камеру 10 (средство захвата изображения) и вычислитель 20.

Камера 10 прикреплена к задней оконечной части транспортного средства V1 в положении на высоте h. Камера 10 прикреплена таким образом, чтобы ее оптическая ось была наклонена вниз от горизонтальной линии на угол θ. Камера 10 захватывает изображение предопределенной зоны из этого положения прикрепления. Камера 10 подает захваченное изображение на вычислитель 20. Вычислитель 20 обнаруживает присутствие и отсутствие трехмерного объекта по диагонали сзади транспортного средства V1, используя изображение, подаваемое из камеры 10.

Фиг.2 - вид, показывающий диапазон захвата изображения и т.п. камеры 10, показанной на фиг.1. Часть (a) по фиг.2 показывает вид сверху. Часть (b) по фиг.2 показывает вид в перспективе реального пространства по диагонали сзади транспортного средства V1. Как показано в части (a) по фиг.2, камера 10 имеет предопределенный угол a обзора. Камера 10 захватывает изображение зоны по диагонали сзади транспортного средства V1 в пределах предопределенного угла a обзора. Угол a обзора камеры 10 установлен таким образом, чтобы не только полоса движения, в которой движется транспортное средство V1, но также полосы движения, прилегающие к ней, были включены в диапазон захвата изображения камеры 10.

Вычислитель 20 выполняет различные типы обработки для участков в зонах A₁, A₂ обнаружения трехмерного объекта, который должен быть обнаружен, в захваченном изображении, захваченном камерой 10. Вычислитель 20, в силу этого, определяет, существует ли трехмерный объект (в частности, другое транспортное средство V2) в зонах A₁, A₂ обнаружения. Зоны A₁, A₂ обнаружения каждая имеет трапецеидальную форму на виде сверху. Положение, размер и форма каждой из зон A₁, A₂ обнаружения определяются на основании расстояний с d₁ по d₄.

Расстояние d₁ является расстоянием от транспортного средства V1 до линии L₁ или L₂ контакта с землей. Линия L₁ или L₂ контакта с землей является линией, где трехмерный объект, существующий в полосе движения, прилегающей к полосе, в которой движется транспортное средство V1, входит в контакт с поверхностью земли. Цель варианта осуществления состоит в том, чтобы обнаруживать другое транспортное средство V2 и т.п. (включая двухколесные транспортные средства и т.п.), которое расположено по диагонали сзади транспортного средства V1 и движется в смежной полосе движения по левую или правую сторону от полосы движения транспортного средства V1. Соответственно, расстояние d₁, которое является расстоянием до положения линии L₁ или L₂ контакта с землей другого транспортного средства V2, может по существу неизменно определяться расстоянием d₁₁ от транспортного средства V1 до белой линии (дорожная разметка) W и расстоянием d₁₂ от белой линии W до положения, где ожидается, что должно двигаться другое транспортное средство V2.

Расстояние d₁ необязательно определяется неизменно и может быть переменным. В этом случае вычислитель 20 распознает положение белой линии W относительно транспортного средства V1, используя технологию распознавания белой линии и т.п., и определяет расстояние d₁₁ на основе распознанного положения белой линии W. Расстояние d₁, таким образом, устанавливается переменным образом посредством использования определенного расстояния d₁₁.

В варианте осуществления, поскольку положение, где движется другое транспортное средство V2 (расстояние d₁₂ от белой линии W), и положение, где движется транспортное средство V1 (расстояние d₁₁ от белой линии W), приблизительно постоянны, предполагается, что расстояние d₁ определяется неизменно.

Расстояние d₂ является расстоянием в направлении движения транспортного средства от задней оконечной части транспортного средства V1. Расстояние d₂ определяется таким образом, чтобы по меньшей мере зоны A₁, A₂ обнаружения были включены в угол a обзора камеры 10. В частности, в варианте осуществления расстояние d₂ устанавливается таким образом, чтобы каждая из зон A₁, A₂ обнаружения прилегала к зоне, определенной углом a обзора.

Расстояние d₃ является расстоянием, показывающим длину каждой из зон A₁, A₂ обнаружения в направлении движения транспортного средства. Расстояние d₃ определяется на основании размера трехмерного объекта, который должен быть обнаружен. В варианте обнаружения, поскольку другое транспортное средство V2 и т.п. должны быть обнаружены, расстояние d₃ устанавливается равным длине, при которой может быть включено другое транспортное средство V2.

Как показано в части (b) по фиг.2, расстояние d₄ является расстоянием, указывающим высоту, установленную, чтобы включать в себя шины другого транспортного средства V2 и т.п. в реальном пространстве. Расстояние d₄ устанавливается в такую длину, как показано в части (a) по фиг.2, в изображении вида с высоты птичьего полета. Предпочтительно, чтобы расстояние d₄ устанавливалось равным длине, не включающей в себя полосы движения (то есть полосы движения, которые на две полосы движения отдалены от полосы движения транспортного средства V1), прилегающие к правой и левой соседним полосам движения на изображении вида с высоты птичьего полета. Это обусловлено следующей причиной. Когда учитываются полосы движения, которые расположены за две полосы движения от полосы движения транспортного средства V1, невозможно определить, находится ли другое транспортное средство V2 в прилегающей полосе движения по правую или левую сторону от полосы движения, в которой движется транспортное средство V1, или другое транспортное средство V2 находится в полосе движения, которая расположена за две полосы от нее.

Расстояния d₁-d₄ определяются, как описано выше. Положение, размер и форма каждой из зон A₁, A₂ обнаружения определяются следующим образом. Чтобы быть точными, положение верхнего края b₁ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из расстояния d₁. Положение C₁ начальной точки верхнего края b₁ определяется из расстояния d₂. Положение C₂ конечной точки верхнего края b₁ определяется из расстояния d₃. Боковой край b₂ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из прямой линии L₃, тянущейся от камеры 10 по направлению к положению C₁ начальной точки. Подобным образом боковой край b₃ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из прямой линии L₄, тянущейся от камеры 10 по направлению к положению C₂ конечной точки. Нижняя граница b₄ каждой из зон A₁, A₂ обнаружения, имеющих трапециевидные формы, определяется из расстояния d₁. Зоны, окруженные краями b₁-b₄, указываются ссылкой как зоны A₁, A₂ обнаружения. Как показано в части (b) по фиг.2, зоны A₁, A₂ обнаружения имеют квадратные формы (прямоугольные формы) в реальном пространстве по диагонали сзади транспортного средства V1.

В варианте осуществления зоны A₁, A₂ обнаружения имеют трапецеидальные формы в точке обзора с высоты птичьего полета. Однако зоны A₁, A₂ обнаружения не ограничены вышеизложенным и могут иметь другие формы, такие как квадратные формы в точке обзора с высоты птичьего полета.

Фиг.3 - структурная схема, показывающая подробности вычислителя 20, показанного на фиг.1. На фиг.3 камера 10 также проиллюстрирована для прояснения взаимосвязи соединений.

Как показано на фиг.3, вычислитель 20 включает в себя часть 21 преобразования точки обзора (средство преобразования точки обзора), часть 22 вычисления яркостного различия (средство вычисления яркостного различия), часть 23 обнаружения краевых линий (средство обнаружения краевых линий) и часть 24 обнаружения трехмерного объекта (средство обнаружения трехмерного объекта). Вычислитель 20 является компьютером, включающим в себя ЦПУ (центральное процессорное устройство, CPU), ОЗУ (оперативное запоминающее устройство, RAM), ПЗУ (постоянное запоминающее устройство, ROM) и т.п. Вычислитель 20 реализует функции части 21 преобразования точки обзора, части 22 вычисления яркостного различия, части 23 обнаружения краевых линий и части 24 обнаружения трехмерного объекта посредством выполнения обработки изображений и т.п. согласно предустановленной программе.

Часть 21 преобразования точки обзора принимает данные захваченного изображения предопределенной зоны, которые получены посредством изображения, захваченного камерой 10. Часть 21 преобразования точки обзора выполняет обработку преобразования точки обзора над принятыми данными захваченного изображения, в которой данные захваченного изображения преобразуются в данные изображения вида с высоты птичьего полета в состоянии вида с высоты птичьего полета. Состояние изображения вида с высоты птичьего полета является состоянием, где изображение получается как будто из точки обзора виртуальной камеры, например, обозревающей транспортное средство вертикально вниз (или слегка наклонно вниз) сверху. Обработка преобразования точки обзора, например, осуществляется посредством технологии, описанной в публикации № 2008-219063 заявки на выдачу патента Японии.

Часть 22 вычисления яркостного различия вычисляет яркостное различие в данных изображения вида с высоты птичьего полета, подвергнутых преобразованию точки обзора частью 21 преобразования точки обзора, чтобы обнаруживать край трехмерного объекта, включенного в изображение вида с высоты птичьего полета. Часть 22 вычисления яркостного различия вычисляет, для каждого из многочисленных положений вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, яркостное различие между двумя пикселями возле положения.

Часть 22 вычисления яркостного различия вычисляет яркостное различие посредством использования любого одного из способа установки одной вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, и способа установки двух вертикальных воображаемых линий.

Дано описание конкретного способа установки двух вертикальных воображаемых линий. Исходя из изображения вида с высоты птичьего полета, подвергнутого преобразованию точки обзора, часть 22 вычисления яркостного различия устанавливает первую вертикальную воображаемую линию, которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и вторую вертикальную воображаемую линию, которая отлична от первой вертикальной воображаемой линии и которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве. Часть 22 вычисления яркостного различия получает яркостное различие между точками на первой вертикальной воображаемой линии и точками на второй вертикальной воображаемой линии, непрерывно вдоль первой вертикальной воображаемой линии и второй вертикальной воображаемой линии. Эта операция части 22 вычисления яркостного различия подробно описана ниже.

Как показано в части (a) по фиг.4, часть 22 вычисления яркостного различия устанавливает первую вертикальную воображаемую линию L_a (в дальнейшем указываемую ссылкой как линия L_a внимания), которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и которая проходит через зону A₁ обнаружения. Часть 22 вычисления яркостного различия устанавливает вторую вертикальную воображаемую линию L_r (в дальнейшем указываемую ссылкой как опорная линия L_r), которая отлична от линии L_a внимания и соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и которая проходит через зону A₁ обнаружения. Опорная линия L_r устанавливается в положении, удаленном от линии L_a внимания на предопределенное расстояние в реальном пространстве. Линии, соответствующие линейным сегментам, тянущимся в вертикальном направлении в реальном пространстве, являются линиями, тянущимися радиально от положения P_s камеры 10 в изображении вида с высоты птичьего полета.

Часть 22 вычисления яркостного различия устанавливает точку P_a внимания на линии L_a внимания (точку на первой вертикальной воображаемой линии). Часть 22 вычисления яркостного различия устанавливает опорную точку P_r на опорной линии L_r (точку на второй вертикальной воображаемой линии).

Зависимость между линией L_a внимания, точкой P_a внимания, опорной линией L_r и опорной точкой P_r в реальном пространстве является такой, как показанная в части (b) по фиг.4. Как очевидно из части (b) по фиг.4, линия L_a внимания и опорная линия L_r тянутся в вертикальном направлении в реальном пространстве. Точка P_a внимания и опорная точка P_r установлены на почти одной и той же высоте в реальном пространстве. Нет необходимости устанавливать точку P_a внимания и опорную точку P_r строго на одной и той же высоте, и, естественно, есть допуск до такой степени, что точка P_a внимания и опорная точка P_r считаются находящимися по существу на одной и той же высоте.

Часть 22 вычисления яркостного различия получает яркостное различие между точкой P_a внимания и опорной точкой P_r. Когда яркостное различие между точкой P_a внимания и опорной точкой P_r велико, край вероятно существует между точкой P_a внимания и опорной точкой P_r. Отсюда, часть 23 обнаружения краевых линий, показанная на фиг.3, обнаруживает краевую линию на основе яркостного различия между точкой P_a внимания и опорной точкой P_r.

Эта операция описана более подробно. Фиг.5 - второй вид, показывающий подробную работу части 22 вычисления яркостного различия, показанной на фиг.3. Часть (a) по фиг.5 показывает изображение вида с высоты птичьего полета, снятое из точки обзора с высоты птичьего полета, а часть (b) показывает частично увеличенный вид изображения вида с высоты птичьего полета, показанного в части (a) по фиг.5. Хотя только зона A₁ обнаружения проиллюстрирована на фиг.5, яркостное различие может вычисляться подобным образом для зоны A₂ обнаружения.

Когда другое транспортное средство V2 включено в захваченное изображение, захваченное камерой 10, другое транспортное средство V2 появляется в зоне A₁ обнаружения в изображении вида с высоты птичьего полета, как показано в части (a) по фиг.5. Предположим, что линия L_a внимания установлена на резиновом участке шины другого транспортного средства V2 в изображении вида с высоты птичьего полета, как показано в части (b) по фиг.5, которая является увеличенным видом области B1 в части (a) по фиг.5.

В этом состоянии часть 22 вычисления яркостного различия сначала устанавливает опорную линию L_r. Опорная линия L_r устанавливается в вертикальном направлении в положении, удаленном от линии L_a внимания на предопределенное расстояние в реальном пространстве. Более точно, в устройстве 1 обнаружения трехмерного объекта по варианту осуществления опорная линия L_r установлена в положении, удаленном от линии L_a внимания на 10 см в реальном пространстве. Соответственно, на изображении вида с высоты птичьего полета опорная линия L_r, например, установлена на колесе у шины другого транспортного средства V2, которое находится в 10 см в стороне от резинового участка шины другого транспортного средства V2.

Затем часть 22 вычисления яркостного различия устанавливает многочисленные точки P_a1-P_aN внимания на линии L_a внимания. Например, в части (b) по фиг.5 шесть точек P_a1-P_a6 внимания (что касается произвольной точки внимания, точка в дальнейшем указывается ссылкой просто как точка P_ai внимания) установлены для удобства описания. Количество точек P_a внимания, установленных на линии L_a внимания, является любым количеством. В описании, приведенном ниже, описание дано при допущении, что N точек P_a внимания установлено на линии L_a внимания.

Впоследствии, часть 22 вычисления яркостного различия устанавливает опорные точки P_r1-P_rN таким образом, чтобы опорные точки P_r1-P_rN и точки P_a1-P_aN внимания были расположены соответственно на одних и тех же высотах в реальном пространстве.

Затем, часть 22 вычисления яркостного различия вычисляет яркостное различие между точками P_a внимания и опорными точками P_r, расположенными на одной и той же высоте. Часть 22 вычисления яркостного различия, в силу этого, вычисляет яркостное различие между двумя пикселями для каждого из многочисленных положений (1-N) вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве. Например, часть 22 вычисления яркостного различия вычисляет яркостное различие между первой точкой P_a1 внимания и первой опорной точкой P_r1 и вычисляет яркостное различие между второй точкой P_a2 внимания и второй опорной точкой P_r2. Часть 22 вычисления яркостного различия, в силу этого, непрерывно получает яркостные различия вдоль линии L_a внимания и опорной линии L_r. Часть 22 вычисления яркостного различия в таком случае последовательно получает яркостные различия между с третьей по N-ую точками P_a3-P_aN внимания и с третьей по N-ую опорными точками P_r3-P_rN.

Часть 22 вычисления яркостного различия перемещает линию L_a внимания в зоне A₁ обнаружения и повторно выполняет обработку, такую как установка опорной линии L_r, установка точек P_a внимания и опорных точек P_r, и вычисление яркостных различий. Более точно, часть 22 вычисления яркостного различия изменяет соответственные положения линии L_a внимания и опорной линии L_r на одно и то же расстояние в направлении удлинения линии контакта с землей в реальном пространстве и повторно выполняет обработку, описанную выше. Например, часть 22 вычисления яркостного различия устанавливает линию, устанавливавшуюся в качестве опорной линии L_r при предыдущей обработке, заново в качестве линии L_a внимания, устанавливает новую опорную линию L_r для новой линии L_a внимания, а затем последовательно получает яркостные различия.

Вновь со ссылкой на фиг.3, часть 23 обнаружения краевых линий обнаруживает краевую линию по непрерывным яркостным различиям, вычисленным частью 22 вычисления яркостного различия. Например, в случае, показанном в части (b) по фиг.5, поскольку первая точка P_a1 внимания и первая опорная точка P_r1 обе расположены на одном и том же участке шины, яркостное различие между ними невелико. Между тем, со второй по шестую точки P_a2-P_a6 внимания расположены на резиновом участке шины, в то время как со второй по шестую опорные точки P_r2-P_r6 расположены в колесной части шины. Соответственно, яркостные различия между со второй по шестую точками P_a2-P_a6 внимания и со второй по шестую опорными точками P_r2-P_r6 велики. Часть 23 обнаружения краевых линий, таким образом, может обнаруживать существование краевой линии между со второй по шестую точками P_a2-P_a6 внимания и со второй по шестую опорными точками P_r2-P_r6, которые имеют большие яркостные различия между ними.

Более точно, при обнаружении краевой линии часть 23 обнаружения краевых линий сначала добавляет атрибут к i-й точке P_ai внимания из яркостного различия между i-й точкой P_ai внимания (координатами xi, yi)) и i-й опорной точкой P_ri (координатами (xi', yi')), в соответствии с формулой (1), показанной ниже.

[Формула 1]

s(xi, yi)=1

(Когда удовлетворено I(xi, yi)>I(xi', yi')+t)

s(xi, yi)=-1 (1)

(Когда удовлетворено I(xi, yi)<I(xi', yi')-t)

s(xi, yi)=0

(В случаях, иных чем описанные выше)

В формуле (1), показанной выше, t представляет собой пороговое значение. I(xi, yi) представляет собой значение яркости i-й точки P_ai внимания. I(xi', yi') представляет собой значение яркости i-й опорной точки P_ri. В формуле (1), показанной выше, когда значение яркости точки P_ai внимания является более высоким, чем значение яркости, полученное прибавлением порогового значения t к значению яркости опорной точки P_ri, атрибут s(xi, yi) точки P_ai внимания имеет значение «1». Между тем, когда значение яркости точки P_ai внимания находится ниже, чем значение яркости, полученное вычитанием порогового значения t из значения яркости опорной точки P_ri, атрибут s(xi, yi) точки P_ai внимания имеет значение «-1». Когда зависимость между значением яркости точки P_ai внимания и значением яркости опорной точки P_ri является иной, чем описанные выше, атрибут s(xi, yi) точки P_ai внимания имеет значение «0».

Затем часть 23 обнаружения краевых линий определяет, является ли линия L_a внимания краевой линией, из непрерывности c(xi, yi) атрибутов s вдоль линии L_a внимания, на основе формулы (2), показанной ниже.

[Формула 2]

c(xi, yi)=1

(Когда s(xi, yi)=s(xi+1, yi+1) удовлетворено, за исключением случая 0=0)

c(xi, yi)=0 (2)

(В случаях, иных чем описанные выше)

Когда атрибут s(xi, yi) точки P_ai внимания и атрибут s(xi+1, yi+1) точки P_ai+1 внимания, прилегающей к ней, совпадают друг с другом, непрерывность c(xi, yi) имеет значение «1». Когда атрибут s(xi, yi) точки P_ai внимания и атрибут s(xi+1, yi+1) точки P_ai+1 внимания, прилегающей к ней, не совпадают друг с другом, непрерывность c(xi, yi) имеет значение «0».

Впоследствии, часть 23 обнаружения краевых линий получает сумму непрерывностей c(xi, yi) всех точек P_a внимания на линии L_a внимания. Часть 23 обнаружения краевых линий затем нормализует непрерывности c посредством деления полученной суммы непрерывностей c на число N точек P_a внимания. Часть 23 обнаружения краевых линий определяет, что линия L_a внимания является краевой линией, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ является значением, заранее заданным на основании эксперимента и т.п.

Более точно, часть 23 обнаружения краевых линий определяет, является ли линия L_a внимания краевой линией, на основе формулы (3), показанной ниже.

[Формула 3]

∑c(xi, yi)/N>θ (3)

Часть 23 обнаружения краевых линий выполняет определение краевой линии для всех из линий L_a внимания, начерченных в зоне A₁ обнаружения.

Вновь со ссылкой на фиг.3 часть 24 обнаружения трехмерного объекта обнаруживает трехмерный объект на основе количества краевых линий, обнаруженных частью 23 обнаружения краевых линий. Как описано выше, устройство 1 обнаружения трехмерного объекта по варианту осуществления обнаруживает краевую линию, тянущуюся в вертикальном направлении в реальном пространстве. Обнаружение многих краевых линий, тянущихся в вертикальном направлении, означает, что трехмерный объект вероятно должен существовать в зоне A₁ или A₂ обнаружения. Часть 24 обнаружения трехмерного объекта, таким образом, обнаруживает трехмерный объект на основе количества краевых линий, обнаруженных частью 23 обнаружения краевых линий.

Более того, перед выполнением обнаружения трехмерного объекта часть 24 обнаружения трехмерного объекта определяет, является ли каждая из краевых линий, обнаруженных частью 23 обнаружения краевых линий, надлежащей краевой линией. Часть 24 обнаружения трехмерного объекта определяет, является ли изменение яркости вдоль краевой линии в изображении вида с высоты птичьего полета на краевой линии большим, чем предопределенное пороговое значение. Когда изменение яркости в изображении вида с высоты птичьего полета на краевой линии является большим, чем пороговое значение, краевая линия определяется обнаруженной ошибочным определением. Между тем, когда изменение яркости в изображении вида с высоты птичьего полета на краевой линии не является большим, чем пороговое значение, краевая линия определяется как надлежащая краевая линия. Пороговое значение является значением, заранее заданным на основании эксперимента и т.п.

Фиг.6 - вид, показывающий распределение яркости и краевые линий. Часть (a) по фиг.6 показывает краевую линию и распределение яркости в случае, где другое транспортное средство V2 в качестве трехмерного объекта существует в зоне A₁ обнаружения. Часть (b) по фиг.6 показывает краевую линию и распределение яркости в случае, где никакого трехмерного объекта не существует в зоне A₁ обнаружения.

Предположим, что линия L_a внимания, установленная на резиновой части шины другого транспортного средства V2, определяется краевой линией в изображении вида с высоты птичьего полета, как показано в части (a) по фиг.6. В этом случае изменение яркости в изображении вида с высоты птичьего полета на линии L_a внимания является умеренным. Это происходит потому, что изображение, захваченное камерой 10, подвергается преобразованию точки обзора в изображение вида с высоты птичьего полета (точку обзора с высоты птичьего полета), и, в силу этого, шина другого транспортного средства V2 растягивается в изображении вида с высоты птичьего полета.

Между тем, предположим, что линия L_a внимания, установленная на участке белого знака «50», который нарисован на поверхности дороги, ошибочно определяется в качестве краевой линии в изображении вида с высоты птичьего полета, как показано в части (b) по фиг.6. В этом случае изменение яркости в изображении вида с высоты птичьего полета на линии L_a внимания колеблется в значительной степени. Это происходит потому, что участки с высокой яркостью, соответствующие участку белого знака, и участки с низкой яркостью, соответствующие поверхности дороги, и т.п. смешиваются на краевой линии.

Часть 23 обнаружения краевых линий определяет, обнаружена ли краевая линия ошибочным определением, на основе описанной выше разности распределения яркости на линии L_a внимания. Когда изменение яркости вдоль краевой линии является большим, чем предопределенное пороговое значение, часть 24 обнаружения трехмерного объекта определяет, что краевая линия обнаружена ошибочным определением. В таком случае краевая линия не используется для обнаружения трехмерного объекта. Это подавляет возникновение случая, где белые знаки, такие как «50», на поверхности дороги, сорняки на обочине дороги и т.п. определяются в качестве краевой линии, и точность обнаружения трехмерного объекта, в силу этого, снижается.

Более точно, часть 24 обнаружения трехмерного объекта вычисляет изменение яркости краевой линии посредством использования любой одной из формул (4) и (5), показанных ниже. Изменение яркости краевой линии соответствует значению оценки в вертикальном направлении в реальном пространстве. В формуле (4), показанной ниже, распределение яркости оценивается посредством использования суммарного значения квадратов разностей, каждая из которых является разностью между i-м значением I(xi, yi) яркости и i+1-м значением I(xi+1, yi+1) яркости, прилегающим к нему на линии L_a внимания. В формуле (5), показанной ниже, распределение яркости оценивается посредством использования суммарного значения абсолютных значений разностей, каждая из которых является разностью между i-м значением I(xi, yi) яркости и i+1-м значением I(xi+1, yi+1) яркости, прилегающим к нему на линии L_a внимания.

[Формула 4]

(Значение оценки в направлении, соответствующем вертикальности)

=∑{{I(xi, yi)-I(xi+1, yi+1)}²} (4)

[Формула 5]

(Значение оценки в направлении, соответствующем вертикальности)

=∑|I(xi, yi)-I(xi+1, yi+1)| (5)

Вычисления не ограничено только вычислением с использованием формулы (5) и также может выполняться, как изложено ниже. Как показано в формуле (6), приведенной ниже, атрибут b смежных значений яркости может преобразовываться в двоичную форму посредством использования порогового значения t2, и преобразованные в двоичную форму атрибуты b для всех точек P_a внимания могут суммироваться.

[Формула 6]

(Значение оценки в направлении, соответствующем вертикальности)

=∑b(xi, yi) (6)

где, b(xi, yi)=1

(когда |I(xi, yi)-I(xi+1, yi+1)|>t2)

b(xi, yi)=0

(В случаях, иных чем описанные выше)

Когда абсолютное значение яркостного различия между значением яркости точки P_ai внимания и значением яркости опорной точки P_ri является большим, чем пороговое значение t2, атрибут b точки P_ai (xi, yi) внимания имеет значение «1». Когда зависимость между абсолютным значением и пороговым значением t2 является иной, чем таковая, атрибут b(xi, yi) точки P_ai внимания имеет значение «0». Пороговое значение t2 задано заранее на основании эксперимента и т.п., чтобы определять, что линия L_a внимания не лежит в одном и том же трехмерном объекте. Часть 24 обнаружения трехмерного объекта затем суммирует атрибуты b для всех точек P_a внимания на линии L_a внимания, получает значение оценки в направлении, соответствующем вертикальности, и определяет, является ли краевая линия надлежащей краевой линией.

Затем описан способ обнаружения трехмерного объекта по варианту осуществления. Фиг.7 и 8 - блок-схемы последовательности операций способа, показывающие подробности способа обнаружения трехмерного объекта по варианту осуществления. На фиг.7 и 8 дано описание обработки для зоны A₁ обнаружения ради удобства. Однако подобная обработка также может выполняться для зоны A₂ обнаружения.

Как показано на фиг.7, сначала на этапе S1 камера 10 захватывает изображение предопределенной зоны, определенной углом a обзора и положением прикрепления.

Затем на этапе S2 часть 22 вычисления яркостного различия принимает данные захваченного изображения, захваченные камерой 10 на этапе S1, и вырабатывает данные изображения вида с высоты птичьего полета, выполняя преобразование точки обзора.

Затем на этапе S3 часть 22 вычисления яркостного различия устанавливает линию L_a внимания в зоне A₁ обнаружения. В это время часть 22 вычисления яркостного различия устанавливает линию, соответствующую линии, тянущейся в вертикальном направлении в реальном пространстве, в качестве линии L_a внимания.

Впоследствии, на этапе S4 часть 22 вычисления яркостного различия устанавливает опорную линию L_r в зоне A₁ обнаружения. В это время часть 22 вычисления яркостного различия устанавливает линию, которая соответствует линейному сегменту, тянущемуся в вертикальном направлении, в реальном пространстве, и которая удалена от линии L_a внимания на предопределенное расстояние в реальном пространстве, в качестве опорной линии L_r.

Затем на этапе S5 часть 22 вычисления яркостного различия устанавливает точки P_a внимания на линии L_a внимания. В это время часть 22 вычисления яркостного различия устанавливает надлежащее количество точек P_a внимания, из условия чтобы никакие проблемы не возникали при определении края частью 23 обнаружения краевых линий.

Более того, на этапе S6 часть 22 вычисления яркостного различия устанавливает опорные точки P_r таким образом, чтобы каждая из точек P_a внимания и соответствующая одна из опорных точек P_r устанавливались на почти одной и той же высоте в реальном пространстве. Каждая точка P_a внимания и соответствующая опорная точка P_r, таким образом, скомпонованы в почти горизонтальном направлении. Это содействует обнаружению краевой линии, тянущейся в вертикальном направлении в реальном пространстве.

Затем на этапе S7 часть 22 вычисления яркостного различия вычисляет яркостное различие между каждой точкой P_a внимания и соответствующей опорной точкой P_r, которые находятся на одной и той же высоте в реальном пространстве.

Часть 23 обнаружения краевых линий затем вычисляет атрибут s каждой точки P_a внимания в соответствии с формулой (1), показанной выше. Впоследствии, на этапе S8 часть 23 обнаружения краевых линий вычисляет непрерывности c атрибутов s точек P_a внимания в соответствии с формулой (2), показанной выше.

Затем на этапе S9 часть 23 обнаружения краевых линий определяет, является ли значение, полученное нормализацией суммы непрерывностей c, большим, чем пороговое значение θ, в соответствии с формулой (3), показанной выше. Когда нормализованное значение определено большим, чем пороговое значение θ (S9: Да), часть 23 обнаружения краевых линий обнаруживает линию L_a внимания в качестве краевой линии на этапе S10. После этого обработка переходит на этап S11. Когда нормализованное значение определено не большим, чем пороговое значение θ (S9: Нет), часть 23 обнаружения краевых линий не обнаруживает линию L_a внимания в качестве краевой линии, и обработка переходит на этап S11.

На этапе S11 вычислитель 20 определяет, выполнена ли обработка по этапам S3-S10, описанным выше, для всех из линий L_a внимания, которые могут быть установлены в зоне A₁ обнаружения. Когда вычислитель 20 определяет, что обработка не выполнена для всех из линий L_a внимания (S11: Нет), обработка возвращается на этап S3, и устанавливается новая линия L_a внимания. Затем повторяется обработка до этапа S11. Между тем, когда вычислитель 20 определяет, что обработка выполнена для всех из линий L_a внимания (S11: Да), обработка переходит на этап S12 по фиг.8.

На этапе S12 по фиг.8 часть 24 обнаружения трехмерного объекта вычисляет изменение яркости вдоль каждой из краевых линий, обнаруженных на этапе S10 по фиг.7. Часть 24 обнаружения трехмерного объекта вычисляет изменение яркости краевой линии в соответствии с любой одной из формул (4), (5) и (6), показанных выше.

Затем на этапе S13 часть 24 обнаружения трехмерного объекта исключает, из числа краевых линий, краевую линию, чье изменение яркости является большим, чем предопределенное пороговое значение. Более точно, часть 24 обнаружения трехмерного объекта определяет, что краевая линия, имеющая большое изменение яркости, не является надлежащей краевой линией и не использует краевую линию для обнаружения трехмерного объекта. Как описано выше, это должно предохранять знаки на поверхности дороги, сорняки на обочине дороги и т.п., которые включены в зону A₁ обнаружения, от обнаружения в качестве краевой линии. Соответственно, предопределенное значение является значением, заблаговременно полученным из эксперимента и т.п., и устанавливается на основании изменений яркости, которые возникают вследствие знаков на поверхности дороги, сорняков на обочине дороги и т.п.

Впоследствии, на этапе S14 часть 24 обнаружения трехмерного объекта определяет, является ли количество краевых линий равным или большим, чем предопределенное значение. Предопределенное значение, описанное выше, является значением, полученным из эксперимента и т.п., и устанавливается заблаговременно. Например, когда четырехколесное транспортное средство установлено в качестве трехмерного объекта, который должен обнаруживаться, предопределенное значение устанавливается на основании количества краевых линий четырехколесного транспортного средства, обнаруженных в зоне A₁ обнаружения в эксперименте и т.п., выполненном заблаговременно.

Когда количество краевых линий определено равным или большим, чем предопределенное значение (S14: Да), часть 24 обнаружения трехмерного объекта обнаруживает существование трехмерного объекта в зоне A₁ обнаружения на этапе S15. Между тем когда количество краевых линий определено не равным и не большим, чем предопределенное значение (S14: Нет), часть 24 обнаружения трехмерного объекта определяет, что никакого трехмерного объекта не существует в зоне A₁ обнаружения. После этого обработка, показанная на фиг.7 и 8, завершается.

Как описано выше, в устройстве 1 обнаружения трехмерного объекта по варианту осуществления вертикальные воображаемые линии, которые являются линейными сегментами, тянущимися в вертикальном направлении в реальном пространстве, устанавливаются в изображении вида с высоты птичьего полета, для того чтобы обнаруживать трехмерный объект, существующий в зоне A₁ или A₂ обнаружения. Затем устройство 1 обнаружения трехмерного объекта может вычислять, для каждого из многочисленных положений вдоль вертикальных воображаемых линий, яркостное различие между двумя пикселями возле положения и определять присутствие или отсутствие трехмерных объектов на основе непрерывностей яркостных различий.

Более точно, устройство 1 обнаружения трехмерного объекта устанавливает линию L_a внимания, которая соответствует линейному сегменту, тянущемуся в вертикальном направлении в реальном пространстве, и опорную линию L_r, которая отлична от линии L_a внимания, для каждой из зон A₁, A₂ обнаружения в изображении вида с высоты птичьего полета. Устройство 1 обнаружения трехмерного объекта непрерывно получает яркостные различия между точками P_a внимания на линии L_a внимания и опорными точками P_r на опорной линии L_r, вдоль линии L_a внимания и опорной линии L_r. Яркостное различие между линией L_a внимания и опорной линией L_r получается непрерывным получением яркостных различий между точками, как описано выше. Когда яркостное различие между линией L_a внимания и опорной линией L_r является высоким, край трехмерного объекта вероятно должен существовать на участке, где установлена линия L_a внимания. Устройство 1 обнаружения трехмерного объекта, таким образом, может обнаруживать трехмерный объект на основе непрерывных яркостных различий. В частности, поскольку выполняется сравнение яркости между вертикальными воображаемыми линиями, тянущимися в вертикальном направлении в реальном пространстве, обработка обнаружения трехмерного объекта не подвергается влиянию, даже когда трехмерный объект растягивается в зависимости от высоты от поверхности дороги вследствие преобразования изображения вида с высоты птичьего полета. Соответственно, в устройстве 1 обнаружения трехмерного объекта улучшается точность обнаружения трехмерного объекта.

Более того, в устройстве 1 обнаружения трехмерного объекта получается яркостное различие между двумя точками на одной и той же высоте возле вертикальной воображаемой линии. Более точно, яркостное различие получается из каждой точки P_a внимания на линии L_a внимания и соответствующей опорной точки P_r на опорной линии L_r, которые находятся на одной и той же высоте в реальном пространстве. Соответственно, устройство 1 обнаружения трехмерного объекта может ясно обнаруживать яркостное различие в случае, где существует граница, тянущаяся в вертикальном направлении.

Более того, устройство 1 обнаружения трехмерного объекта добавляет атрибут к каждой точке P_a внимания на линии L_a внимания на основе яркостного различия между точкой P_a внимания и соответствующей опорной точкой P_r на опорной линии L_r и определяет, является ли линия L_a внимания краевой линией, на основе непрерывностей c атрибутов вдоль линии L_a внимания. Соответственно, устройство 1 обнаружения трехмерного объекта может обнаруживать край между областью с высокой яркостью и областью с низкой яркостью в качестве краевой линией и выполнять обнаружение края, близкое к естественному человеческому восприятию.

Этот эффект подробно описан. Фиг.9 - вид, показывающий пример изображения для пояснения обработки части 23 обнаружения краевых линий на фиг.3. В этом примере изображения первый рисунок 101 в полоску, имеющий рисунок в полоску, в котором чередуются области с высокой яркостью и области с низкой яркостью, и второй рисунок 102 в полоску, имеющий рисунок в полоску, в котором чередуются области с низкой яркостью и области с высокой яркостью, являются прилегающими друг к другу. Более того, в этом примере изображения области с высокой яркостью в первом рисунке 101 в полоску и области с низкой яркостью во втором рисунке 102 в полоску являются прилегающими друг к другу наряду с тем, что области с низкой яркостью в первом рисунке 101 в полоску и области с высокой яркостью во втором рисунке 102 в полоску являются прилегающими друг к другу. Участок 103, расположенный на границе между первым рисунком 101 в полоску и вторым рисунком 102 в полоску, имеет тенденцию не распознаваться в качестве края человеческим восприятием.

В противоположность, поскольку области с низкой яркостью и области с высокой яркостью являются прилегающими друг к другу, участок 103 распознается в качестве края, когда край обнаруживается только посредством яркостного различия. Однако часть 23 обнаружения краевых линий определяет участок 103 в качестве краевой линии только тогда, когда яркостные различия обнаружены на участке 103 и есть непрерывность атрибутов яркостных различий. Соответственно, часть 23 обнаружения краевых линий может подавлять такое ошибочное определение, при котором участок 103, который не распознается в качестве края человеческим восприятием, распознается в качестве краевой линии, и выполняет обнаружение края, близкое к человеческому восприятию.

Более того, когда изменение яркости краевой линии, обнаруженной частью 23 обнаружения краевых линий, является большим, чем предопределенное пороговое значение, устройство 1 обнаружения трехмерного объекта определяет, что краевая линия обнаружена ошибочным определением. Когда захваченное изображение, полученное камерой 10, преобразуется в изображение вида с высоты птичьего полета, трехмерный объект, включенный в захваченное изображение, имеет тенденцию появляться в изображении вида с высоты птичьего полета в растянутом состоянии. Например, предположим случай, где шина другого транспортного средства V2 растягивается, как описано выше. В этом случае, поскольку растягивается одиночный участок шины, изменение яркости в изображении вида с высоты птичьего полета в вытянутом направлении имеет тенденцию быть небольшим. С другой стороны, когда знаки, начерченные на поверхности дороги, и т.п. ошибочно определяются в качестве краевой линии, области с высокой яркостью, такие как участки знаков, и области с низкой яркостью, такие как участки поверхности дороги, совместно включаются в изображение вида с высоты птичьего полета. В этом случае изменение яркости в вытянутом направлении имеет тенденцию быть большим в изображении вида с высоты птичьего полета. Соответственно, устройство 1 обнаружения трехмерного объекта может распознавать краевую линию, обнаруженную ошибочным определением, посредством определения изменения яркости в изображении вида с высоты птичьего полета вдоль краевой линии. Точность обнаружения трехмерного объекта, таким образом, может быть улучшена.

Затем описано устройство 1 обнаружения трехмерного объекта по второму варианту осуществления. Отметим, что части, которые подобны таковым по первому варианту осуществления, описанному выше, обозначены идентичными номерами ссылки, а их подробное описание опущено соответствующим образом.

Устройство 1 обнаружения трехмерного объекта, показанное в качестве второго варианта осуществления, отлично от первого варианта осуществления по той причине, что устройство 1 обнаружения трехмерного объекта обнаруживает трехмерный объект посредством установки вертикальной воображаемой линии в изображении вида с высоты птичьего полета. Устройство 1 обнаружения трехмерного объекта вычисляет яркостное различие между двумя пикселями, равноудаленными от вертикальной воображаемой линии в реальном пространстве, с помощью части 22 вычисления яркостного различия.

Более точно, как показано в части (a) по фиг.10, установлена вертикальная воображаемая линия L, тянущаяся из положения P_s камеры 10 в вертикальном направлении в реальном пространстве. Хотя только одна вертикальная воображаемая линия L показана на фиг.10, многочисленные вертикальные воображаемые линии L установлены радиально в зоне A₁ обнаружения. Зона B₁, которая является частью зоны A₁ обнаружения, показана в части (b) по фиг.10 в увеличенном виде. На фиг.10 только зона A₁ обнаружения описана для удобства описания. Однако подобная обработка также выполняется для зоны A₂ обнаружения.

Как показано в части (b) по фиг.10, часть 22 вычисления яркостного различия устанавливает пары из двух пикселей, соответственно, по обеим сторонам от вертикальной воображаемой линии L в горизонтальном направлении в реальном пространстве. Более точно, первые опорные точки P_a1-P_a6 (в дальнейшем указываемые ссылкой просто как первая опорная точка P_ai при ссылке на произвольную точку) установлены в положениях, удаленных от вертикальной воображаемой линии L в горизонтальном направлении в реальном пространстве, а вторые опорные точки P_b1-P_b6 установлены на противоположной стороне вертикальной воображаемой линии L по отношению к первым опорным точкам. Чтобы быть более точными, первые опорные точки P_a1-P_a6 и вторые опорные точки P_b1-P_b6 (в дальнейшем указываемые ссылкой как вторая опорная точка P_bi при ссылке на произвольную точку) установлены на линиях, тянущихся радиально от положения P_s камеры 10 подобно вертикальной воображаемой линии L.

Часть 22 вычисления яркостного различия выполняет установку таким образом, чтобы расстояния между первой опорной точкой P_ai и второй опорной точкой P_bi в реальном пространстве были одинаковыми. Соответственно, в изображении вида с высоты птичьего полета расстояние в изображении увеличивается в порядке расстояния D₁ между пикселем P_a1 и пикселем P_b1, расстояния D₂ между пикселем P_a2 и пикселем P_b2, расстояния D₃ между пикселем P_a3 и пикселем P_b3, расстояния D₄ между пикселем P_a4 и пикселем P_b4, расстояния D₅ между пикселем P_a5 и пикселем P_b5 и расстояния D₆ между пикселем P_a6 и пикселем P_b6.

Часть 22 вычисления яркостного различия, таким образом, устанавливает пары пикселей P_ai и P_bi, которые находятся почти на одной и той же высоте в реальном пространстве в положениях возле вертикальной воображаемой линии L и которые равноудалены от вертикальной воображаемой линии L в реальном пространстве. Часть 22 вычисления яркостного различия вычисляет яркостное различие между каждой парой пикселей P_ai и P_bi. Часть 22 вычисления яркостного различия в силу этого вычисляет, для каждого из многочисленных положений вдоль вертикальной воображаемой линии L, тянущейся в вертикальном направлении в реальном пространстве, яркостное различие между парой пикселей возле положения.

Часть 23 обнаружения краевых линий обнаруживает краевую линию посредством использования яркостных различий, вычисленных частью 22 вычисления яркостного различия. Часть 24 обнаружения трехмерного объекта обнаруживает трехмерный объект, используя краевую линию, обнаруженную частью 23 обнаружения краевых линий.

Дано описание операций устройства 1 обнаружения трехмерного объекта, описанного выше, со ссылкой на фиг.11 и 12.

На фиг.11 сначала, на этапе S41, данные захваченного изображения, захваченные камерой 10, загружаются в вычислитель 20.

На следующем этапе S42 часть 21 преобразования точки обзора выполняет обработку преобразования точки обзора над данными захваченного изображения, загруженными на этапе S41. Часть 21 преобразования точки обзора в силу этого создает данные изображения вида с высоты птичьего полета.

На следующем этапе S43 часть 22 вычисления яркостного различия и часть 23 обнаружения краевых линий обнаруживают краевую линию (левую вертикальную линию), используя первую опорную точку P_ai (левую опорную точку), установленную по левую сторону от вертикальной воображаемой линии L. На следующем этапе S44 часть 22 вычисления яркостного различия и часть 23 обнаружения краевых линий обнаруживают краевую линию (правый вертикальный край), используя вторые опорные точки P_bi (правые опорные точки), установленные по правую сторону от вертикальной воображаемой линии L. Обработка на этапах S43 и S44 описана позже со ссылкой на фиг.12.

На следующем этапе S45 часть 24 обнаружения трехмерного объекта обнаруживает трехмерный объект в зоне A₁ обнаружения посредством использования левого вертикального края, обнаруженного на этапе S43, и правого вертикального края, обнаруженного на этапе S44.

Затем обработка обнаружения левого вертикального края и правого вертикального края описана со ссылкой на фиг.12. В описании по фиг.12 левый вертикальный край и правый вертикальный край совместно указываются ссылкой как «вертикальный край».

Сначала на этапе S51 часть 22 вычисления яркостного различия устанавливает вертикальную воображаемую линию L, служащую в качестве опоры для установки первой опорной точки P_ai и второй опорной точки P_bi. Вертикальная воображаемая линия L установлена, чтобы тянуться в радиальном направлении, проходящем через положение P_s камеры 10, и чтобы тянуться в вертикальном направлении в реальном пространстве. Каждый раз, когда выполняется обработка по этапу S51, вертикальная воображаемая линия L устанавливается, чтобы проходить внутреннюю боковую линию зоны A₁ обнаружения с предопределенным интервалом.

На следующем этапе S52 инициализируются атрибут s, предыдущее значение s_pre атрибута s, счетчик d для количества раз изменений и показатель n.

На следующем этапе S53 часть 22 вычисления яркостного различия устанавливает первую опорную точку P_ai и вторую опорную точку P_bi. В это время, как показано в части (b) по фиг.10, часть 22 вычисления яркостного различия устанавливает опорные точки таким образом, чтобы опорные точки находились соответственно по обеим сторонам от вертикально воображаемой линии L и были равноудалены от вертикальной воображаемой линии L на одной и той же высоте в реальном пространстве. Часть 22 вычисления яркостного различия, таким образом, устанавливает первую опорную точку P_ai и вторую опорную точку P_bi таким образом, чтобы расстояние между ними становилось большим по направлению к наружной части в зоне A₁ обнаружения.

На следующем этапе S54, определение атрибута s (картины яркости) выполняется для каждого из положений на вертикальной воображаемой линии L. В это время часть 22 вычисления яркостного различия получает яркостное различие между первой опорной точкой P_ai и второй опорной точкой P_bi. Часть 23 обнаружения краевых линий устанавливает атрибут s (картину яркости) в соответствии с зависимостью яркостного различия, полученного частью 22 вычисления яркостного различия, и по формуле (1), показанной выше. Этот атрибут s является атрибутом s положения, где линейный сегмент, соединяющий первую опорную точку P_ai и вторую опорную точку P_bi, пересекает вертикальную воображаемую линию L.

Когда яркость первой опорной точки P_ai является большей, чем яркость второй опорной точки P_bi, на пороговое значение t или более, атрибут s имеет значение «1». Между тем, когда значение яркости первой опорной точки P_ai является меньшим, чем значение яркости, полученное вычитанием порогового значения t из значения яркости второй опорной точки P_bi, атрибут s имеет значение «-1». Когда зависимость между значением яркости первой опорной точки P_ai и значением яркости второй опорной точки P_bi является иной, чем описанные выше, атрибут s имеет значение «0».

На следующем этапе S55 часть 23 обнаружения краевых линий дает приращение показателю n, только когда атрибут s является предопределенным значением на этапе S54. Предопределенным значением атрибута s может быть «1» или «-1». Другими словами, часть 23 обнаружения краевых линий подсчитывает общее число раз, когда одна из первой опорной точки P_ai и второй опорной точки P_bi является более яркой или более темной, чем другая. Часть 23 обнаружения краевых линий не дает приращения показателю n, когда атрибут s имеет значение «0».

На следующем этапе S56 часть 23 обнаружения краевых линий подсчитывает количество d раз изменений атрибута s. В это время часть 23 обнаружения краевых линий сравнивает атрибут s, определенный на самом последнем этапе S54, с атрибутом s_pre, определенным на предыдущем этапе S54. Атрибут s_pre является атрибутом s, полученным из первой опорной точки P_ai и второй опорной точки P_bi, которые являются прилегающими к первой опорной точке P_ai и второй опорной точке P_bi, используемым для получения атрибута s вдоль вертикальной воображаемой линии L. Когда значение атрибута s и значение атрибута s_pre одинаковы, количество d раз изменений подвергается приращению.

На следующем этапе S57 часть 23 обнаружения краевых линий сохраняет атрибут s.

На следующем этапе S58 часть 23 обнаружения краевых линий определяет, выполнена ли обработка по этапам S53-S57 для всех из опорных точек, установленных для вертикальной воображаемой линии L в качестве опорной линии, установленной на этапе S51. Когда обработка не выполнена для всех из опорных точек, обработка возвращается на этап S53. Когда этап S53 повторяется, устанавливаются следующие опорные точки. Между тем, когда часть 23 обнаружения краевых линий определяет, что обработка выполнена для всех из опорных точек, обработка переходит на этап S59. На этапе S59 часть 23 обнаружения краевых линий определяет, выполнена ли обработка по этапам S52-S58 для всех из вертикальных воображаемых линий L, установленных в зоне A₁ обнаружения. Когда часть 23 обнаружения краевых линий определяет, что обработка не выполнена для всех вертикальных воображаемых линий L, обработка переходит на этап S51. Когда этап S51 повторяется, устанавливается следующая вертикальная воображаемая линия L. Когда часть 23 обнаружения краевых линий определяет, что обработка выполнена для всех вертикальных воображаемых линий L, обработка переходит на этап S60.

На этапе S60 часть 23 обнаружения краевых линий определяет вертикальный край, появляющийся в зоне A₁ обнаружения. В это время часть 23 обнаружения краевых линий определяет вертикальный край на основе показателя n, указывающего количество раз определения одного и того же атрибута s, общее число N пар первой опорной точки P_ai и второй опорной точки P_bi, и количество d раз изменений. Более точно, часть 23 обнаружения краевых линий определяет, что вертикальная воображаемая линия L является вертикальным краем, когда удовлетворены показатель n/общее число N>θ и 5>d.

В показателе n/общее число N показатель n нормализован делением показателя n на общее число опорных точек. Когда отношение количества раз, в которых зависимости между первой опорной точкой P_ai и второй опорной точкой P_bi, определены одинаковыми (яркими или темными), к общему количеству N опорных точек велико, может предполагаться, что существует вертикальный край.

Более того, когда количество d раз изменений является меньшим, чем верхнее предельное значение (пять в этом примере), часть 23 обнаружения краевых линий может предполагать, что вертикальная воображаемая линия L является вертикальным краем. Верхнее предельное значение количества d раз изменений устанавливается, принимая во внимание то обстоятельство, что объект, в котором атрибут s часто изменяется в зоне A₁ обнаружения, вероятно должен быть любым из сорняков на обочине дороги, символов и знаков на поверхности дороги и т.п. Соответственно, верхний предел установлен заранее на основании эксперимента и т.п. таким образом, чтобы сорняки, символы и знаки на поверхности дороги и т.п. не определялись являющимися вертикальным краем.

Между тем, когда условия, описанные выше, не удовлетворены, часть 23 обнаружения краевых линий определяет, что вертикальная воображаемая линия L не является вертикальным краем.

Как описано выше, как в первом варианте осуществления, устройство 1 обнаружения трехмерного объекта устанавливает вертикальную воображаемую линию, тянущуюся в вертикальном направлении в реальном пространстве, и обнаруживает трехмерный объект на основе непрерывностей яркостных различий. Соответственно, может быть улучшена точность обнаружения трехмерного объекта.

Более того, в устройстве 1 обнаружения трехмерного объекта две точки первой опорной точки P_ai и второй опорной точки P_bi устанавливаются для одной вертикальной воображаемой линии L, и расстояние в изображении между первой опорной точкой P_ai и второй опорной точкой P_bi определяется в качестве расстояния в реальном пространстве. Соответственно, устройство 1 обнаружения трехмерного объекта может обнаруживать трехмерный объект посредством обнаружения вертикального края, не предусматривая две линии из линии L_a внимания и опорной линии L_r, как в первом варианте осуществления. Отсюда, нагрузка обработки может быть снижена в устройстве 1 обнаружения трехмерного объекта по сравнению с первым вариантом осуществления.

Затем дано описание еще одного устройства 1 обнаружения трехмерного объекта, показанного в качестве второго варианта осуществления. Это устройство 1 обнаружения трехмерного объекта, показанное в качестве второго варианта осуществления, является таким же как устройство 1 обнаружения трехмерного объекта, описанное выше, в том, что устанавливается только одна вертикальная воображаемая линия L. Как показано в части (b) по фиг.13, которая показывает участок изображения вида с высоты птичьего полета, показанного в части (a) по фиг.13, увеличенным образом, устройство 1 обнаружения трехмерного объекта устанавливает все из расстояний между первыми опорными точками P_ai и вторыми опорными точками P_bi, которые установлены в изображении вида с высоты птичьего полета вдоль вертикальной воображаемой линии L, в одинаковое расстояние D.

Более точно, как показано на фиг.14, часть 22 вычисления яркостного различия устанавливает вертикальную воображаемую линию L, чтобы она тянулась радиально от положения P_s камеры 10. Между тем часть 22 вычисления яркостного различия устанавливает воображаемую линию I₁, на которой расположена первая опорная точка P_ai, и воображаемую линию I₂, на которой расположена вторая опорная точка P_bi, таким образом, чтобы воображаемые линии I₁ и I₂ были параллельны вертикальной воображаемой линии L. На воображаемых линиях I₁ и I₂ опорные точки P_a1 и P_b1 в зоне A₁ обнаружения, которые находятся ближе всего к вертикальной воображаемой линии L, устанавливаются в положениях, где воображаемые линии I₁ и I₂ пересекают радиальные воображаемые линии I, тянущиеся в вертикальном направлении от положения P_s камеры 10.

Когда первая опорная точка P_ai и вторая опорная точка P_bi установлены, как описано выше, как расстояние между первой опорной точкой P_a1 и второй опорной точкой P_b1, так и расстояние между первой опорной точкой P_a2 и второй опорной точкой P_b2 имеют значение d. Между тем, расстояние между точками Pa' и Pb', которые находятся на радиальной воображаемой линии I, тянущейся от положения P_s камеры, и которые находятся на линии, соединяющей первую опорную точку P_a2 и вторую опорную точку P_b2, имеет значение d', которое является большим, чем d. Пороговое значение t для определения атрибута s в силу этого устанавливается меньшим по направлению к наружной части в зоне A₁ обнаружения (по мере того, как становится большим расстояние от транспортного средства V1). Более точно, пороговое значение t для определения атрибута s первой опорной точки P_a1 и второй опорной точки P_b1 устанавливается в значение, большее чем пороговое значение t', для определения атрибута s первой опорной точки P_a2 и второй опорной точки P_b2. Более того, t' определено в качестве t×(d/d'). Часть 23 обнаружения краевых линий, таким образом, определяет атрибут s каждого положения на вертикальной воображаемой линии L, выполняя вычисление, подобное формуле (1), показанной выше.

Другими словами, часть 23 обнаружения краевых линий устанавливает пороговое значение t для каждой пары первой опорной точки P_ai и второй опорной точки P_bi. Затем, когда значение яркости первой опорной точки P_ai является более высоким, чем значение яркости, полученное прибавлением порогового значения t к значению яркости второй опорной точки P_bi, атрибут s(xi, yi) имеет значение «1». Между тем когда значение яркости первой опорной точки P_ai является меньшим, чем значение яркости, полученное вычитанием порогового значения t из значения яркости второй опорной точки P_bi, атрибут s(xi, yi) имеет значение «-1». Когда зависимость между значением яркости первой опорной точки P_ai и значением яркости второй опорной точки P_bi является иной, чем описанные выше, атрибут s(xi, yi) имеет значение «0».

Устройство 1 обнаружения трехмерного объекта, описанное выше, обнаруживает вертикальный край, выполняя операции, показанные на фиг.15. Операции устройства 1 обнаружения трехмерного объекта отличны от операций, показанных на фиг.12, наличием этапа S53' взамен.

На этапе S53' часть 22 вычисления яркостного различия устанавливает первую опорную точку P_ai и вторую опорную точку P_bi, соответственно, на воображаемых линиях I₁ и I₂, предусмотренных параллельно вертикальной воображаемой линии L. Более того, часть 22 вычисления яркостного различия устанавливает пороговое значение t для каждой пары из установленной первой опорной точки P_ai и установленной второй опорной точки P_bi. Таким образом, на этапе S54 часть 23 обнаружения краевых линий сравнивает яркостное различие между первой опорной точкой P_ai и второй опорной точкой P_bi и пороговым значением t, установленным для этой пары первой опорной точки P_ai и второй опорной точки P_bi, и определяет атрибут s.

Как описано выше, как в первом варианте осуществления, устройство 1 обнаружения трехмерного объекта устанавливает вертикальную воображаемую линию, тянущуюся в вертикальном направлении в реальном пространстве, и обнаруживает трехмерный объект на основе непрерывностей яркостных различий. Соответственно, может быть улучшена точность обнаружения трехмерного объекта.

Более того, устройство 1 обнаружения трехмерного объекта вычисляет яркостное различие между двумя пикселями, равноудаленными от вертикальной воображаемой линии L в изображении вида с высоты птичьего полета, и устанавливает пороговое значение для определения трехмерного объекта на основе яркостного различия таким образом, чтобы пороговое значение становилось меньшим по мере того, как становится более высоким положение среди многочисленных положений вдоль вертикальной воображаемой линии L в реальном пространстве. Соответственно, даже когда изображение более высокой части в реальном пространстве растягивается вследствие преобразования точки обзора захваченного изображения, устройство 1 обнаружения трехмерного объекта может изменять пороговое значение t и обнаруживать край. Более того, устройство 1 обнаружения трехмерного объекта может обнаруживать трехмерный объект посредством обнаружения вертикального края, не предусматривая две линии из линии L_a внимания и опорной линии L_r, как в первом варианте осуществления. Отсюда, нагрузка обработки может быть снижена в устройстве 1 обнаружения трехмерного объекта по сравнению с первым вариантом осуществления.

Отметим, что, даже когда устройство 1 обнаружения трехмерного объекта обнаруживает яркостное различие между двумя пикселями по обеим сторонам от вертикальной воображаемой линии наряду с изменением положения на вертикальной воображаемой линии с пороговым значением, являющимся постоянным, устройство 1 обнаружения трехмерного объекта по-прежнему может обнаруживать краевую линию, тянущуюся в вертикальном направлении, и обнаруживать трехмерный объект.

Затем описано устройство 1 обнаружения трехмерного объекта по третьему варианту осуществления. Отметим, что части, которые подобны таковым по вариантам осуществления, описанным выше, обозначены идентичными ссылочными номерами, а их подробное описание опущено соответствующим образом.

Фиг.16 - структурная схема, показывающая функциональную конфигурацию вычислителя 20 в устройстве 1 обнаружения трехмерного объекта по третьему варианту осуществления. На фиг.16 камера 10 также проиллюстрирована для прояснения взаимосвязи соединений.

Как показано на фиг.16, вычислитель 20 включает в себя часть 25 вычисления интенсивности края (средство вычисления интенсивности края) вместо части 23 обнаружения краевых линий по первому варианту осуществления.

Часть 25 вычисления интенсивности края вычисляет интенсивность края линии L_a внимания из непрерывных яркостных различий, вычисленных частью 22 вычисления яркостного различия. Интенсивность края является числовым значением, указывающим вероятность существования краевой линии. Более точно, интенсивность края вычисляется по формуле (7), показанной ниже.

[Формула 7]

∑c(xi, yi)/N (7)

В формуле (7), показанной выше, c(xi, yi) является непрерывностью c атрибута точки P_ai внимания. N - количество точек P_a внимания, установленных на линии L_a внимания. В формуле (7) интенсивность края является значением, полученным делением суммы непрерывностей c каждой линии L_a внимания на установленное количество точек P_a внимания.

Фиг.17 - схематический вид, показывающий обработку, выполняемую частью 25 вычисления интенсивности края, показанной на фиг.16. Часть (a) по фиг.17 показывает интенсивность края в случае, где другое транспортное средство V2 в качестве трехмерного объекта существует в зоне A₁ обнаружения. Часть (b) по фиг.17 показывает интенсивность края в случае, где никакого трехмерного объекта не существует в зоне A₁ обнаружения. Хотя часть 25 вычисления интенсивности края описана вместе с иллюстрацией только зоны A₁ обнаружения на фиг.17, подобная обработка может также выполняться для зоны A₂ обнаружения.

Как показано в части (a) по фиг.17, когда другое транспортное средство V2 существует в зоне A₁ обнаружения, сумма непрерывностей c атрибутов точек P_a внимания является высокой, как описано в формуле (7), показанной выше, и интенсивность края каждой линии L_a внимания, таким образом, имеет тенденцию быть высокой. Соответственно, сумма многочисленных интенсивностей края в зоне A₁ обнаружения является высокой.

Между тем, как показано в части (b) по фиг.17, когда никакого трехмерного объекта не существует в зоне A₁ обнаружения, сумма непрерывностей c атрибутов точек P_a внимания является низкой, как описано в формуле (7), показанной выше, и интенсивность края каждой линии L_a внимания, таким образом, имеет тенденцию быть низкой. Соответственно, сумма многочисленных интенсивностей края в зоне A₁ обнаружения является низкой.

Как описано выше, когда сумма интенсивностей края линий L_a внимания является равной или более высокой, чем предопределенное пороговое значение, часть 24 обнаружения трехмерного объекта может определять существование трехмерного объекта в зоне A₁ обнаружения. Между прочим, в зависимости от среды захвата изображений для трехмерного объекта и т.п., край, тянущийся в вертикальном направлении в реальном пространстве, иногда появляется в качестве тусклого края в изображении вида с высоты птичьего полета. В этом случае устройство 1 обнаружения трехмерного объекта может не быть способным обнаруживать трехмерный объект. Однако поскольку устройство 1 обнаружения трехмерного объекта по третьему варианту осуществления обнаруживает трехмерный объект на основе интенсивностей края, устройство 1 обнаружения трехмерного объекта может обнаруживать трехмерный объект, даже когда только тусклые края появляются в изображении вида с высоты птичьего полета, посредством накопления тусклых краев в больших количествах.

Фиг.18 - блок-схема последовательности операций способа, показывающая подробности способа обнаружения трехмерного объекта по третьему варианту осуществления. На фиг.18 дано описание обработки для зоны A₁ обнаружения ради удобства. Однако подобная обработка может выполняться для зоны A₂ обнаружения.

В обработке по этапам S21-S28 устройство 1 обнаружения трехмерного объекта сначала выполняет обработку, подобную таковой на этапах S1-S8, показанных на фиг.7.

На этапе S29, следующем за этапом S28, часть 25 вычисления интенсивности края вычисляет интенсивность края в соответствии с формулой (7), показанной выше.

Затем на этапе S30 вычислитель 20 определяет, вычислены ли интенсивности края для всех из линий L_a внимания, которые могут быть установлены в зоне A₁ обнаружения. Определяется, вычислены ли интенсивности края для всех из линий L_a внимания, которые могут быть установлены в зоне A₁ обнаружения для всех из линий L_a внимания. Когда вычислитель 20 определяет, что интенсивности края не вычислены для всех из линий L_a внимания (S30: Нет), обработка переходит на этап S23. С другой стороны, когда вычислитель 20 определяет, что интенсивности края вычислены для всех линий L_a внимания (S30: Да), обработка переходит на этап S31.

На этапе S31 часть 24 обнаружения трехмерного объекта вычисляет сумму интенсивностей края, вычисленных частью 25 вычисления интенсивности края.

Затем на этапе S32 часть 24 обнаружения трехмерного объекта определяет, является ли сумма интенсивностей края, вычисленная на этапе S31, равной или большей, чем пороговое значение. Когда сумма интенсивностей края определяется равной или большей, чем пороговое значение (S32: Да), часть 24 обнаружения трехмерного объекта обнаруживает существование трехмерного объекта в зоне A₁ обнаружения на этапе S33. Между тем когда сумма интенсивностей края определена не являющейся равной или большей, чем пороговое значение (S32: Нет), часть 24 обнаружения трехмерного объекта определяет, что никакого трехмерного объекта не существует в зоне A₁ обнаружения. После этого обработка, показанная на фиг.18, завершается.

Как описано выше, в устройстве 1 обнаружения трехмерного объекта и способе обнаружения трехмерного объекта по третьему варианту осуществления, как в первом варианте осуществления, установлена вертикальная воображаемая линия, тянущаяся в вертикальном направлении в реальном пространстве, и трехмерный объект обнаруживается на основании непрерывностей яркостных различий. Соответственно, может быть улучшена точность обнаружения трехмерного объекта.

Более того, в устройстве 1 обнаружения трехмерного объекта по третьему варианту осуществления интенсивности края линий L_a внимания вычисляются по непрерывным яркостным различиям, полученным посредством установки вертикальной воображаемой линии, и трехмерный объект обнаруживается на основании интенсивностей края. Соответственно, даже когда края, тянущиеся в вертикальном направлении, появляются в качестве тусклых краев в изображении вследствие среды захвата изображения для трехмерного объекта и т.п., устройство 1 обнаружения трехмерного объекта может сдерживать несостоятельность обнаружения трехмерного объекта. Более точно, даже когда края, которые появляются в изображении вида с высоты птичьего полета и которые тянутся в вертикальном направлении в реальном пространстве, тусклы, устройство 1 обнаружения трехмерного объекта может обнаруживать трехмерный объект на основе интенсивностей края посредством накопления тусклых краев в больших количествах. Соответственно, устройство 1 обнаружения трехмерного объекта может сдерживать ситуацию, когда точность обнаружения трехмерного объекта ухудшается вследствие среды захвата изображения и т.п.

Варианты осуществления, описанные выше, являются некоторыми примерами настоящего изобретения. Соответственно, настоящее изобретение не ограничено вариантами осуществления, описанными выше. Как и следовало ожидать, варианты осуществления, иные чем описанные выше, возможны, и различные изменения могут быть произведены в зависимости от конструкции и т.п. в пределах объема технической идеи настоящего изобретения.

Например, в вариантах осуществления, описанных выше, вычислитель 20 включает в себя часть 21 преобразования точки обзора для формирования данных изображения вида с высоты птичьего полета. Однако настоящее изобретение не ограничено этой конфигурацией. Нет необходимости явно создавать данные изображения вида с высоты птичьего полета, поскольку обработка, подобная таковой в вариантах осуществления, описанных выше, выполняется для данных захваченного изображения.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изображение может использоваться в отраслях промышленности, в которых трехмерный объект обнаруживается в окружающей среде.

СПИСОК ОБОЗНАЧЕНИЙ ССЫЛОК

1 устройство обнаружения трехмерного объекта

10 камера

20 вычислитель

21 часть преобразования точки обзора

22 часть вычисления яркостного различия

23 часть обнаружения краевых линий

24 часть обнаружения трехмерного объекта

25 часть вычисления интенсивности края

Группа изобретений относится к средствам ориентирования в реальном пространстве. Техническим результатом является повышение точности обнаружения трехмерного объекта в окружающем пространстве. Устройство содержит устройство захвата изображения предопределенной зоны, блок преобразования точки обзора, создающий изображение вида с высоты птичьего полета, вычислитель яркостного различия между двумя пикселями вблизи положений вдоль вертикальной воображаемой линии, тянущейся в вертикальном направлении в реальном пространстве, обнаружитель трехмерного объекта, обнаруживающий указанный объект на основе непрерывностей яркостных различий соответствующих вычисленных положений. 2 н. и 8 з.п. ф-лы, 25 ил.

1. Устройство обнаружения трехмерного объекта, содержащее:
устройство захвата изображения, сконфигурированное для захвата изображения предопределенной зоны;
блок преобразования точки обзора, сконфигурированный для выполнения обработки преобразования точки обзора над изображением, захваченным устройством захвата изображения, для создания изображения вида с высоты птичьего полета;
вычислитель яркостного различия, сконфигурированный для вычисления яркостного различия между двумя пикселями изображения вида с высоты птичьего полета вблизи каждого из множества положений вдоль вертикальной воображаемой линии, продолжающейся в вертикальном направлении в реальном пространстве; и
обнаружитель трехмерного объекта, сконфигурированный для обнаружения трехмерного объекта на основе непрерывностей яркостных различий соответствующих положений, вычисленных вычислителем яркостного различия.

2. Устройство обнаружения трехмерного объекта по п.1, в котором вычислитель яркостного различия вычисляет яркостное различие между двумя пикселями изображения вида с высоты птичьего полета, которые расположены вблизи упомянутой вертикальной воображаемой линии и которые находятся почти на одной и той же высоте в реальном пространстве.

3. Устройство обнаружения трехмерного объекта по п.1 или 2, в котором
упомянутая вертикальная воображаемая линия состоит из первой вертикальной воображаемой линии, которая продолжается в вертикальном направлении в реальном пространстве, и второй вертикальной воображаемой линии, которая отдалена от первой вертикальной воображаемой линии на предопределенное расстояние в реальном пространстве и которая продолжается в вертикальном направлении в реальном пространстве, и
вычислитель яркостного различия вычисляет яркостные различия между пикселем на первой вертикальной воображаемой линии и пикселем на второй вертикальной воображаемой линии.

4. Устройство обнаружения трехмерного объекта по п.1 или 2, в котором вычислитель яркостного различия вычисляет яркостное различие между двумя пикселями, которые равноудалены от упомянутой вертикальной воображаемой линии в реальном пространстве.

5. Устройство обнаружения трехмерного объекта по п.1 или 2, в котором
вычислитель яркостного различия вычисляет яркостное различие между двумя пикселями, которые равноудалены от упомянутой вертикальной воображаемой линии в изображении вида с высоты птичьего полета, и
обнаружитель трехмерного объекта устанавливает пороговые значения для определения трехмерного объекта на основании яркостного различия, вычисленного вычислителем яркостного различия, таким образом, чтобы пороговое значение более высокого положения в реальном пространстве среди множества положений вдоль упомянутой вертикальной воображаемой линии было меньшим.

6. Устройство обнаружения трехмерного объекта по п.1, дополнительно содержащее:
обнаружитель краевых линий, сконфигурированный для обнаружения краевой линии на основании непрерывностей яркостных различий среди упомянутого множества положений, яркостные различия вычисляются вычислителем яркостного различия, при этом
обнаружитель трехмерного объекта обнаруживает трехмерный объект на основе количества краевых линий, обнаруженных обнаружителем краевых линий.

7. Устройство обнаружения трехмерного объекта по п.6, в котором
обнаружитель краевых линий добавляет атрибут к каждому из положений на упомянутой вертикальной воображаемой линии на основе яркостного различия положения на упомянутой вертикальной воображаемой линии, яркостное различие вычисляется вычислителем яркостного различия, и
обнаружитель краевых линий определяет, является ли упомянутая вертикальная воображаемая линия краевой линией, на основании непрерывностей атрибутов.

8. Устройство обнаружения трехмерного объекта по п.6 или 7, в котором, когда изменение яркости пикселей вдоль любой из краевых линий, обнаруженных обнаружителем краевых линий, больше, чем предопределенное значение, обнаружитель трехмерного объекта избегает использования краевой линии для обнаружения трехмерного объекта.

9. Устройство обнаружения трехмерного объекта по п.1, дополнительно содержащее:
вычислитель интенсивности края, сконфигурированный для вычисления интенсивности края упомянутой вертикальной воображаемой линии на основе яркостного различия, вычисленного вычислителем яркостного различия, при этом
обнаружитель трехмерного объекта обнаруживает трехмерный объект на основании суммы интенсивностей края, вычисленных вычислителем интенсивности края.

10. Способ обнаружения трехмерного объекта, содержащий этапы, на которых:
захватывают изображение предопределенной зоны;
выполняют обработку преобразования точки обзора над захваченным изображением для создания изображения вида с высоты птичьего полета;
вычисляют яркостное различие между двумя пикселями изображения вида с высоты птичьего полета вблизи каждого из множества положений вдоль вертикальной воображаемой линии, продолжающейся в вертикальном направлении в реальном пространстве; и
обнаруживают трехмерный объект на основе непрерывностей вычисленных яркостных различий соответствующих положений.