УСТРОЙСТВО ВЫЧИСЛЕНИЯ СОБСТВЕННОЙ ПОЗИЦИИ И СПОСОБ ВЫЧИСЛЕНИЯ СОБСТВЕННОЙ ПОЗИЦИИ Российский патент 2017 года по МПК G08G1/16 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству вычисления собственной позиции и к способу вычисления собственной позиции.

Уровень техники

[0002] Традиционно известна технология, в которой: камеры, установленные в транспортном средстве, захватывают и получают изображения окрестности транспортного средства; и величина перемещения транспортного средства получается на основе изменений изображений (см., например, патентный документ 1). Патентный документ 1 направлен на точное получение величины перемещения транспортного средства, даже если транспортное средство перемещается незначительно на низкой скорости. С этой целью, характерную точку обнаруживают из каждого изображения; получают позицию характерной точки; и в силу этого получают величину перемещения транспортного средства из направления и расстояния перемещения (величины перемещения) характерной точки.

[0003] Помимо этого, известна технология выполнения трехмерного измерения с использованием лазерного лучевого проектора для проецирования лазерного луча в сетчатом шаблоне (сформированного по шаблону светового луча) (см., например, патентный документ 2). Согласно патентному документу 2, захватывают изображение области проецируемого светового луча с установленным шаблоном с помощью камеры; извлекают световой луч с установленным шаблоном из захваченного изображения; и получают поведение транспортного средства из позиции сформированного по шаблону светового луча.

Список библиографических ссылок

Патентные документы

[0004] Патентный документ 1. Публикация заявки на патент (Япония) номер 2008-175717

Патентный документ 2. Публикация заявки на патент (Япония) номер 2007-278951

Сущность изобретения

Техническая задача

[0005] Тем не менее, в среде вне помещений, когда сформированный по шаблону световой луч проецируется на поверхность дороги, как описано в патентном документе 2, сформированный по шаблону световой луч находится под влиянием окружающего света. По этой причине затруднительно обнаруживать сформированный по шаблону световой луч, проецируемый на поверхность дороги.

Решение задачи

[0006] Настоящее изобретение осуществлено с учетом вышеуказанной проблемы. Задача настоящего изобретения заключается в том, чтобы предоставлять устройство вычисления собственной позиции и способ вычисления собственной позиции, которые допускают: точное обнаружение сформированного по шаблону светового луча, проецируемого на поверхность дороги; и точное вычисление собственной позиции транспортного средства.

[0007] Устройство вычисления собственной позиции согласно аспекту настоящего изобретения вычисляет текущую позицию и текущий угол ориентации транспортного средства посредством: проецирования сформированного по шаблону светового луча на поверхность дороги вокруг транспортного средства из светового проектора; получения изображения поверхности дороги вокруг транспортного средства, включающей в себя область, на которую проецируется сформированный по шаблону световой луч, с помощью модуля захвата изображений; извлечения позиции сформированного по шаблону светового луча из изображения, полученного с помощью модуля захвата изображений; вычисления угла ориентации транспортного средства относительно поверхности дороги из извлеченной позиции сформированного по шаблону светового луча; вычисления величины изменения ориентации транспортного средства на основе временных изменений нескольких характерных точек на поверхности дороги в изображении, полученном с помощью модуля захвата изображений; и суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства. Кроме того, если обнаруженное условие сформированного по шаблону светового луча равно или выше порогового значения, когда позиция сформированного по шаблону светового луча извлекается, наложенное изображение формируется посредством наложения изображений в кадрах, полученных с помощью модуля захвата изображений, и позиция сформированного по шаблону светового луча извлекается из наложенного изображения.

Краткое описание чертежей

[0008] Фиг. 1 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по первому варианту осуществления.

Фиг. 2 является внешним видом, показывающим пример того, как световой проектор 11 и камера 12 устанавливаются в транспортном средстве 10.

Фиг. 3(a) является схемой, показывающей то, как позиции высвеченных областей на поверхности 31 дороги вычисляются с использованием базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) световых пятен в изображении. Фиг. 3(b) является принципиальной схемой, показывающей то, как, направление перемещения камеры 12 получается из временных изменений характерной точки, обнаруженной из области 33, отличающейся от области, на которую проецируется сформированный по шаблону световой луч 32a.

Фиг. 4(a) и 4(b) являются схемой, показывающей изображение сформированного по шаблону светового луча 32a, полученное с помощью камеры 12 и подвергнутое процессу преобразования в двоичную форму. Фиг. 4(a) является схемой, полностью показывающей сформированный по шаблону световой луч 32a. Фиг. 4(b) является увеличенной схемой, показывающей одно световое пятно S_p. Фиг. 4(c) является схемой, показывающей позиции He центра тяжести соответствующих световых пятен S_p, извлеченных посредством модуля 21 извлечения сформированного по шаблону светового луча.

Фиг. 5 является принципиальной схемой для пояснения способа вычисления величины изменения расстояния и величины изменения угла ориентации.

Фиг. 6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Фиг. 6(b) показывает второй кадр 38', полученный во время (t+Δt), которое является продолжительностью Δt после времени t.

Фиг. 7(a) показывает величину перемещения транспортного средства, которая требуется для того, чтобы формировать наложенное изображение, когда внешняя среда является яркой. Фиг. 7(b) показывает то, как формировать наложенное изображение, когда внешняя среда является яркой.

Фиг. 8(a) показывает величину перемещения транспортного средства, которая требуется для того, чтобы формировать наложенное изображение, когда внешняя среда является темной. Фиг. 8(b) показывает то, как формировать наложенное изображение, когда внешняя среда является темной.

Фиг. 9(a)-9(d) являются временными диаграммами, соответственно, показывающими изменение флага сброса, изменение числа изображений, которые должны накладываться, изменение условия, при котором обнаруживаются характерные точки, и изменение числа ассоциированных характерных точек в устройстве вычисления собственной позиции по первому варианту осуществления.

Фиг. 10 является блок-схемой последовательности операций способа, показывающей пример способа вычисления собственной позиции с использованием устройства вычисления собственной позиции, показанного на фиг. 1.

Фиг. 11 является блок-схемой последовательности операций способа, показывающей подробную процедуру для этапа S18, показанного на фиг. 10.

Фиг. 12 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 13 является схемой для пояснения того, как оценивать величину изменения высоты поверхности дороги из позиции сформированного по шаблону светового луча во втором варианте осуществления.

Фиг. 14(a)-14(e) являются временными диаграммами, соответственно, показывающими изменение флага сброса, предварительно определенный интервал этапа S201, изменение числа изображений, которые должны накладываться, изменение состояния поверхности дороги между хорошим и плохим и изменение размеров ухабов (неровности) поверхности дороги, в устройстве вычисления собственной позиции по второму варианту осуществления.

Фиг. 15 является блок-схемой последовательности операций способа, показывающей технологическую процедуру для процесса вычисления собственной позиции, который должен выполняться посредством устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 16 является блок-схемой последовательности операций способа, показывающей подробную технологическую процедуру для этапа S28, показанного на фиг. 15, которая должна выполняться посредством устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 17 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по третьему варианту осуществления.

Фиг. 18(a) и 18(b) являются временными диаграммами, соответственно, показывающими изменение яркости и изменение флага обнаружения характерных точек в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 19(a)-19(c) являются пояснительными схемами, показывающими сформированные по шаблону световые лучи и характерные точки в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 20(a)-20(d) являются временными диаграммами, соответственно, показывающими изменение флага сброса, изменение времени завершения каждого цикла, изменение числа частот, которые должны накладываться, и изменение мощности проецирования света в устройстве вычисления собственной позиции по третьему варианту осуществления.

Фиг. 21 является блок-схемой последовательности операций способа, показывающей технологическую процедуру, которой должно придерживаться устройство вычисления собственной позиции по третьему варианту осуществления.

Подробное описание вариантов осуществления

[0009] Со ссылкой на чертежи, приводится описание для первого-третьего вариантов осуществления. В описании чертежей, идентичные компоненты обозначаются посредством идентичных ссылок с номерами. Описание таких компонентов опускается.

[0010] Первый вариант осуществления

Аппаратная конфигурация

Для начала, со ссылкой на фиг. 1, ниже приводится описание аппаратной конфигурации устройства вычисления собственной позиции по первому варианту осуществления. Устройство вычисления собственной позиции включает в себя световой проектор 11, камеру 12 и модуль 13 управления двигателем (ECU). Световой проектор 11 устанавливается в транспортном средстве и проецирует сформированный по шаблону световой луч на поверхность дороги вокруг транспортного средства. Камера 12 устанавливается в транспортном средстве и является примером модуля захвата изображений, выполненного с возможностью захватывать и за счет этого получать изображения поверхности дороги вокруг транспортного средства, в том числе и области проецируемого сформированного по шаблону светового луча. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11 и выполнять последовательность циклов обработки информации для оценки величины перемещения транспортного средства из изображений, полученных с помощью камеры 12.

[0011] Камера 12 представляет собой цифровую камеру с использованием полупроводникового датчика изображений, к примеру, CCD и CMOS, и получает обрабатываемые цифровые изображения. То, что захватывает камера 12, представляет собой поверхность дороги вокруг транспортного средства. Поверхность дороги вокруг транспортного средства включает в себя поверхности дороги впереди, сзади, по бокам и под транспортным средством. Как показано на фиг. 2, камера 12 может устанавливаться в передней секции транспортного средства 10, более конкретно, например, над передним бампером.

[0012] Высота и направление, в которых можно задавать камеру 12, регулируются таким способом, который позволяет камере 12 захватывать изображения характерных точек (текстур) на поверхности 31 дороги перед транспортным средством 10 и сформированного по шаблону светового луча 32b, проецируемого из светового проектора 11. Фокус и диафрагма линзы камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами и за счет этого получает последовательность групп изображений (кадров). Данные изображений, полученные с помощью камеры 12, передаются в ECU 13 и сохраняются в запоминающем устройстве, включенном в ECU 13.

[0013] Как показано на фиг. 2, световой проектор 11 проецирует сформированный по шаблону световой луч 32b, имеющий предварительно определенную форму, в том числе квадратную или прямоугольную сетчатую форму, на поверхность 31 дороги в диапазоне захвата изображений камеры 12. Камера 12 захватывает изображения сформированного по шаблону светового луча, проецируемого на поверхность 31 дороги. Световой проектор 11 включает в себя, например, лазерный указатель и дифракционную решетку. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. В силу этого, как показано на фиг. 2-4, световой проектор 11 формирует сформированный по шаблону световой луч (32b, 32a), который включает в себя несколько световых пятен S_p, размещаемых в сетчатом или матричном шаблоне. В примерах, показанных на фиг. 3 и 4, световой проектор 11 формирует сформированный по шаблону световой луч 32a, включающий в себя 5*7 световых пятен S_p.

[0014] Возвращаясь к фиг. 1, ECU 13 включает в себя CPU, запоминающее устройство и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством выполнения предварительно установленных компьютерных программ, ECU 13 формирует несколько информационных процессоров, включенных в устройство вычисления собственной позиции. Для каждого изображения (кадра) ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственной позиции транспортного средства из изображений, полученных с помощью камеры 12. В этой связи ECU 13 также может использоваться в качестве ECU для управления другими системами, связанными с транспортным средством 10.

[0015] Несколько информационных процессоров включают в себя модуль 21 извлечения сформированного по шаблону светового луча (формирователь наложенных изображений), модуль 22 вычисления угла ориентации, детектор 23 характерных точек, модуль 24 вычисления величины изменения ориентации, секцию 25 определения яркости (секцию определения условий обнаружения сформированного по шаблону светового луча), модуль 26 вычисления собственной позиции, контроллер 27 сформированного по шаблону светового луча, секцию 28 определения условий обнаружения и секцию 29 определения состояний вычисления. Детектор 23 характерных точек может быть включен в модуль 24 вычисления величины изменения ориентации.

[0016] Модуль 21 извлечения сформированного по шаблону светового луча считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и извлекает позицию сформированного по шаблону светового луча из изображения. Например, как показано на фиг. 3(a), световой проектор 11 проецирует сформированный по шаблону световой луч 32a, который включает в себя несколько световых пятен, размещаемых в матричном шаблоне, на поверхность 31 дороги, в то время как камера 12 обнаруживает сформированный по шаблону световой луч 32a, отражаемый от поверхности 31 дороги. Модуль 21 извлечения сформированного по шаблону светового луча применяет процесс преобразования в двоичную форму к изображению, полученному с помощью камеры 12, и за счет этого извлекает только изображение световых пятен S_p, как показано на фиг. 4(a) и 4(b). Как показано на фиг. 4(c), модуль 21 извлечения сформированного по шаблону светового луча извлекает позицию сформированного по шаблону светового луча 32a посредством вычисления позиции He центра тяжести каждого светового пятна S_p, другими словами, координаты (U_j, V_j) каждого светового пятна S_p в изображении. Координаты выражаются с использованием числа, назначаемого соответствующему пикселу в датчике изображений камеры 12. В случае если сформированный по шаблону световой луч включает в себя 5*7 световых пятен S_p, j является целым числом, не меньшим 1, но не большим 35. Запоминающее устройство сохраняет координаты (U_j, V_j) светового пятна S_p в изображении в качестве данных по позиции сформированного по шаблону светового луча 32a.

[0017] Модуль 22 вычисления угла ориентации считывает данные по позиции сформированного по шаблону светового луча 32a из запоминающего устройства и вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности 31 дороги из позиции сформированного по шаблону светового луча 32a в изображении, полученном с помощью камеры 12. Например, как показано на фиг. 3(a), с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации вычисляет позицию каждой области световых пятен на поверхности 31 дороги, в качестве позиции каждой области световых пятен относительно камеры 12, из базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) каждого светового пятна в изображении. После этого модуль 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую проецируется сформированный по шаблону световой луч 32a, другими словами, расстояние и угол ориентации (вектор нормали) камеры 12 относительно поверхности 31 дороги, из позиции каждого светового пятна относительно камеры 12. Следует отметить, что в варианте осуществления расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги вычисляются в качестве примера расстояния и угла ориентации транспортного средства 10 относительно поверхности 31 дороги, поскольку позиция установки камеры 12 в транспортном средстве 10 и угол для захвата изображений посредством камеры 12 уже известны. В дальнейшем в этом документе расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги сокращенно называются "расстоянием и углом ориентации". Расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации, сохраняются в запоминающем устройстве.

[0018] Более конкретно, поскольку камера 12 и световой проектор 11 закрепляются на транспортном средстве 10, направление, в котором можно проецировать сформированный по шаблону световой луч 32a, и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 уже известны. По этой причине с использованием принципа тригонометрических измерений модуль 22 вычисления угла ориентации допускает получение позиции каждой области световых пятен на поверхности 31 дороги в качестве позиции (X_j, Y_j, Z_j) каждой области световых пятен относительно камеры 12 из координат (U_j, V_j) каждого светового пятна в изображении.

[0019] Следует отметить, что во многих случаях позиция (X_j, Y_j, Z_j) каждого светового пятна относительно камеры 12 не присутствует на идентичной плоскости. Это обусловлено тем, что относительная позиция каждого светового пятна изменяется согласно неровности асфальта поверхности 31 дороги. По этой причине метод наименьших квадратов может использоваться для того, чтобы получать уравнение плоскости, которое минимизирует сумму квадратов разности расстояния каждого светового пятна.

[0020] Детектор 23 характерных точек считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и обнаруживает характерные точки на поверхности 31 дороги из изображения, считываемого из запоминающего устройства. Чтобы обнаруживать характерные точки на поверхности 31 дороги, детектор 23 характерных точек может использовать способ, описанный в работе D. G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., издание 60, № 2, стр. 91-110, ноябрь 2000 года. В противном случае, может использоваться способ, описанный в работе авторов Kanazawa Yasushi, Kanatani Kenichi "Detection of Feature Points for Computer Vision", IEICE Journal, издание 87, № 12, стр. 1043-1048, декабрь 2004 года.

[0021] Более конкретно, например, детектор 23 характерных точек использует оператор Харриса или оператор SUSAN, поскольку эти точки, к примеру, вершины объекта, значения яркости которых существенно отличаются от значений яркости окрестностей точек, обнаруживаются в качестве характерных точек. Тем не менее вместо этого детектор 23 характерных точек может использовать характерную величину по принципу SIFT (масштабно-инвариантного преобразования признаков), так что точки, вокруг которых значения яркости изменяются с определенной регулярностью, обнаруживаются в качестве характерных точек. После обнаружения характерных точек детектор 23 характерных точек подсчитывает общее число N характерных точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) для соответствующих характерных точек. Позиция (U_i, V_i) каждой характерной точки в изображении сохраняется в запоминающем устройстве в ECU 13. Фиг. 6(a) и 6(b) показывают примеры характерных точек T_e, которые обнаруживаются из изображения, полученного с помощью камеры 12. Позиция (U_i, V_i) каждой характерной точки в изображении сохраняется в запоминающем устройстве.

[0022] Следует отметить, что настоящий вариант осуществления трактует смесь частиц асфальта с размером частиц не менее 1 см, но не более 2 см, в качестве характерных точек на поверхности 31 дороги. Камера 12 использует режим VGA-разрешения (приблизительно 300 тысяч пикселов) для того, чтобы обнаруживать характерные точки. Помимо этого расстояние от камеры 12 до поверхности 31 дороги составляет приблизительно 70 см. Кроме того, направление, в котором камера 12 захватывает изображения, наклонено приблизительно под 45 градусами к поверхности 31 дороги от горизонтальной плоскости. Более того, значение яркости каждого изображения, полученного с помощью камеры 12 и после этого отправленного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самое темное, 255: самое яркое).

[0023] Модуль 24 вычисления величины изменения ориентации выбирает предыдущий кадр и текущий кадр из кадров, захваченных в циклах информационного процесса; и считывает позиции (U_i, V_i) нескольких характерных точек в изображении в предыдущем кадре и позиции (U_i, V_i) нескольких характерных точек в изображении в текущем кадре, из запоминающего устройства. После этого на основе изменений позиций нескольких характерных точек в изображении модуль 24 вычисления величины изменения ориентации получает величину изменения ориентации транспортного средства. В этом отношении "величина изменения ориентации транспортного средства" включает в себя как величины изменений "расстояния и угла ориентации" относительно поверхности 31 дороги, так и "величину перемещения транспортного средства (камеры 12)" на поверхности дороги. Ниже приводится описание того, как вычислять величины изменений расстояния и угла ориентации и величину перемещения транспортного средства.

[0024] Фиг. 6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Допустим случай, в котором, как показано на фиг. 5 и 6(a), вычисляются относительные позиции (X_i, Y_i, Z_i) каждой из трех характерных точек T_e1, T_e2, T_e3, например, для первого кадра 38. В этом случае плоскость G, заданная посредством характерных точек T_e1, T_e2, T_e3, может рассматриваться в качестве поверхности дороги. Соответственно, модуль 24 вычисления величины изменения ориентации допускает получение расстояния и угла ориентации (вектора нормали) камеры 12 относительно поверхности дороги (плоскости G) из относительных позиций (X_i, Y_i, Z_i). Кроме того, с использованием уже известных моделей камеры модуль 24 вычисления величины изменения ориентации допускает получение расстояния l₁ между характерными точками T_e1, T_e2, расстояния l₂ между характерными точками T_e2, T_e3 и расстояния l₃ между характерными точками T_e3, T_e1, а также угла между прямой линией, соединяющей характерные точки T_e1, T_e2, и прямой линией, соединяющей характерные точки T_e2, T_e3, угла между прямой линией, соединяющей характерные точки T_e2, T_e3, и прямой линией, соединяющей характерные точки T_e3, T_e1, и угла между прямой линией, соединяющей характерные точки T_e3, T_e1, и прямой линией, соединяющей характерные точки T_e1, T_e2. Камера 12 на фиг. 5 показывает то, где расположена камера, когда камера снимает первый кадр.

[0025] Следует отметить, что трехмерные координаты (X_i, Y_i, Z_i) относительной позиции относительно камеры 12 задаются таким способом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, представляют собой линии, нормальные к направлению, в котором камера 12 захватывает изображение. Между тем, координаты в изображении 38 задаются таким образом, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.

[0026] Фиг. 6(b) показывает второй кадр, полученный во время (t+Δt), в которое продолжительность Δt истекает со времени t. Камера 12' на фиг. 5 показывает то, где расположена камера, когда камера захватывает второй кадр 38'. Как показано на фиг. 5 и 6(b), камера 12' захватывает изображение, включающее в себя характерные точки T_e1, T_e2, T_e3, в качестве второго кадра 38', и детектор 23 характерных точек обнаруживает характерные точки T_e1, T_e2, T_e3 из изображения. В этом случае модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины ΔL перемещения камеры 12 в интервале времени Δt, но также и величин изменений расстояния и угла ориентации из: относительной позиции (X_i, Y_i, Z_i) каждой из характерных точек T_e1, T_e2, T_e3 во время t; позиции P₁(U_i, V_i) каждой характерной точки во втором кадре 38'; и модели камеры для камеры 12. Например, модуль 24 вычисления величины изменения ориентации допускает вычисление величины (ΔL) перемещения камеры 12 (транспортного средства) и величины изменений расстояния и угла ориентации камеры 12 (транспортного средства) посредством решения следующей системы уравнений (1)-(4). В этой связи уравнение (1) основано на камере 12, которая моделируется в качестве идеальной камеры с точечной диафрагмой без деформации и оптического осевого рассогласования, где λi и f, соответственно, обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.

[0027] уравнение 1

...(1)

[0028] уравнение 2

...(2)

[0029] уравнение 3

...(3)

[0030] уравнение 4

...(4)

[0031] Фиг. 3(b) схематично показывает то, как направление 34 перемещения камеры 12 получается из временных изменений характерной точки, обнаруженной из области 33 в диапазоне захвата изображений камеры 12, которая отличается от области, на которую проецируется сформированный по шаблону световой луч 32a. Фиг. 6(a) и 6(b) показывают векторы D_te, которые, соответственно, представляют направления и величины изменений позиций характерных точек T_e и которые накладываются на изображение. Модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины (ΔL) перемещения камеры 12 за продолжительность Δt, но также и величин изменений расстояния и угла ориентации камеры 12 одновременно. По этим причинам, с учетом величин изменений расстояния и угла ориентации, модуль 24 вычисления величины изменения ориентации допускает точное вычисление величины (ΔL) перемещения с шестью степенями свободы. Другими словами, ошибка в оценке величины (ΔL) перемещения может быть минимизирована, даже если расстояние и угол ориентации изменяются посредством наклона в продольном направлении или крена вследствие поворота, ускорения или замедления транспортного средства 10.

[0032] Следует отметить, что вместо использования всех характерных точек, относительные позиции которых вычисляются, модуль 24 вычисления величины изменения ориентации может выбирать оптимальные характерные точки на основе позиционных взаимосвязей между характерными точками. Пример способа выбора, применимого для этой цели, представляет собой эпиполярную геометрию (геометрию эпиполярных линий, описанную в работе R. I. Hartley "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Кембридж, штат Массачусетс, стр. 882-887 (1995)).

[0033] Ассоциирование характерных точек в текущем кадре с характерными точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения небольшой области, в том числе и вокруг каждой обнаруженной характерной точки, в запоминающем устройстве; и определения того, могут или нет характерные точки в текущем кадре и характерные точки в предыдущем кадре быть ассоциированы между собой, из подобия в информации яркости и цветовой информации между характерными точками в текущем кадре и характерными точками в предыдущем кадре. Более конкретно, ECU 13 сохраняет 5 (по горизонтали) * 5 (по вертикали)-пикселное изображение для и вокруг каждой обнаруженной характерной точки в запоминающем устройстве. Если в 20 или более пикселах каждого 5 (по горизонтали) * 5 (по вертикали)-пикселного изображения, например, разность информации яркости между соответствующей характерной точкой в текущем кадре и соответствующей характерной точкой в предыдущем кадре равна или меньше 1%, модуль 24 вычисления величины изменения ориентации определяет то, что характерная точка в текущем кадре и характерная точка в предыдущем кадре могут быть ассоциированы между собой.

[0034] Когда, как в этом случае, характерные точки T_e1, T_e2, T_e3, относительные позиции (X_i, Y_i, Z_i) которых вычисляются, также обнаруживаются из кадра 38', полученного в последующее время, модуль 24 вычисления величины изменения ориентации допускает вычисление "величины изменения ориентации транспортного средства" на основе временных изменений нескольких характерных точек на поверхности дороги.

[0035] Модуль 26 вычисления собственной позиции вычисляет текущее расстояние и угол ориентации транспортного средства 10 из "величин изменений расстояния и угла ориентации", вычисленных посредством модуля 24 вычисления величины изменения ориентации. Помимо этого модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства из "величины перемещения транспортного средства", вычисленной посредством модуля 24 вычисления величины изменения ориентации.

[0036] Более конкретно, в случае если расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (см. фиг. 1), задаются в качестве начальных точек для вычисления посредством модуля 26 вычисления собственной позиции для расстояния и угла ориентации, модуль 26 вычисления собственной позиции обновляет расстояние и угол ориентации с последними числовыми значениями посредством последовательного суммирования (выполнения операции интегрирования) величин изменений расстояния и угла ориентации, вычисленных для каждого кадра посредством модуля 24 вычисления величины изменения ориентации, с начальными точками (расстоянием и углом ориентации). Помимо этого в случае если позиция транспортного средства, которая получается, когда модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации, задается в качестве начальной точки (начальной позиции транспортного средства) для вычисления посредством модуля 26 вычисления собственной позиции для текущей позиции транспортного средства, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства посредством последовательного суммирования (выполнения операции интегрирования) величин перемещения транспортного средства с начальной позицией. Например, когда начальная точка (начальная позиция транспортного средства) задается таким образом, что она совпадает с позицией транспортного средства на карте, модуль 26 вычисления собственной позиции допускает последовательное вычисление текущей позиции транспортного средства на карте.

[0037] В случае если детектор 23 характерных точек может продолжать обнаружение трех или более характерных точек, которые могут быть ассоциированы между предыдущим и текущим кадрами, как пояснено выше, продолжение процесса (операции интегрирования) суммирования величин изменений расстояния и угла ориентации позволяет модулю 26 вычисления собственной позиции продолжать обновлять расстояние и угол ориентации с последними числовыми значениями без использования сформированного по шаблону светового луча 32a. Тем не менее, расстояние и угол ориентации, вычисленные с использованием сформированного по шаблону светового луча 32a или предварительно определенного начального расстояния и определенного начального угла ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками для операции интегрирования, могут вычисляться с использованием сформированного по шаблону светового луча 32a либо могут задаваться равными предварительно определенным начальным значениям. Желательно, если предварительно определенное начальное расстояние и предварительно определенный начальный угол ориентации представляют собой расстояние и угол ориентации, определенные, по меньшей мере, с учетом пассажиров и рабочей нагрузки транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием сформированного по шаблону светового луча 32a, который проецируется в то время, когда переключатель зажигания транспортного средства 10 включен, и когда позиция переключения коробки передач перемещается из позиции для парковки в другую позицию, могут использоваться в качестве предварительно определенного начального расстояния и предварительно определенного начального угла ориентации. В силу этого, можно получать расстояние и угол ориентации, которые не затрагиваются посредством крена или наклона в продольном направлении транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0038] Вариант осуществления обновляет расстояние и угол ориентации с последними числовыми значениями посредством: вычисления величин изменений расстояния и угла ориентации; и последовательного суммирования таких вычисленных величин изменений расстояния и угла ориентации. Тем не менее вместо этого может вычисляться и обновляться величина изменения только угла ориентации камеры 12 относительно поверхности 31 дороги. В этом случае можно предполагать, что расстояние от камеры 12 до поверхности 31 дороги остается постоянным. Это позволяет уменьшать рабочую нагрузку на ECU 13 при минимизации ошибки в оценке величины (ΔL) перемещения с учетом величины изменения угла ориентации и повышать скорость работы ECU 13.

[0039] Секция 28 определения условий обнаружения определяет то, является или нет условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, слишком плохим для того, чтобы удовлетворять первому критерию. Например, в случае, к примеру, бетонного покрытия в туннеле, поверхность дороги является менее шаблонной и почти ровной за счет смеси частиц асфальта, уменьшается число характерных точек, обнаруживаемых из изображения поверхности дороги. Сокращенное число обнаруживаемых характерных точек затрудняет непрерывное обнаружение характерных точек, которые ассоциированы между предыдущим и текущим кадрами, и снижает точность, с которой обновляются расстояние и угол ориентации.

[0040] В качестве меры против этой проблемы секция 28 определения условий обнаружения определяет то, что условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию, если, например, число характерных точек, позиции которых относительно камеры 12 вычисляются и могут обнаруживаться из изображения, полученного в последующем цикле обработки информации, равно или меньше предварительно определенного порогового значения (например, трех). Другими словами, если четыре или более характерных точек, ассоциированных между предыдущим и текущим кадрами, не могут обнаруживаться, секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию. В этой связи по меньшей мере три характерные точки, ассоциированные между предыдущим и текущим кадрами, требуются для того, чтобы получать величины изменений расстояния и угла ориентации. Это обусловлено тем, что три характерные точки требуются для того, чтобы задавать плоскость G. Поскольку большее число характерных точек требуется для того, чтобы повышать точность оценки, желательно, если предварительно определенное пороговое значение составляет четыре, пять или более.

[0041] Если секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, удовлетворяет первому критерию, модуль 26 вычисления собственной позиции сохраняет начальные точки операций интегрирования как есть. С другой стороны, если секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, модуль 26 вычисления собственной позиции сбрасывает начальные точки для операций интегрирования (угол ориентации и начальную позицию транспортного средства) на расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (см. фиг. 1) в идентичном цикле обработки информации, и на позицию транспортного средства, полученную во время вычисления. После этого модуль 26 вычисления собственной позиции начинает суммировать величину изменения ориентации транспортного средства с этими сброшенные начальными точками.

[0042] В первом варианте осуществления на основе числа характерных точек, ассоциированных между предыдущим и текущим кадрами, секция 28 определения условий обнаружения определяет то, при каком условии обнаруживаются характерные точки. Тем не менее, вместо этого следует отметить, что секция 28 определения условий обнаружения может иметь такую конфигурацию, в которой на основе общего числа N характерных точек, обнаруженных из одного изображения, секция 28 определения условий обнаружения определяет то, при каком условии обнаруживаются характерные точки. Более конкретно, может быть предусмотрена такая конфигурация, в которой если общее число N характерных точек, обнаруженных из одного изображения, равно или меньше предварительно определенного порогового значения (например, 9), секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию. Пороговое значение для общего числа N может задаваться равным числовому значению (9), в три раза превышающему предварительно определенное пороговое значение (3), поскольку существует вероятность того, что некоторые обнаруженные характерные точки не могут быть ассоциированы между предыдущим и текущим кадрами.

[0043] Секция 29 определения состояний вычисления определяет то, является или нет состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации слишком плохим для того, чтобы удовлетворять второму критерию. Например, в случае если сформированный по шаблону световой луч проецируется на бугор на поверхности 31 дороги, точность вычисления расстояния и угла ориентации значительно уменьшается, поскольку бугор на поверхности 31 дороги выше выбоин и выступов асфальтобетонного покрытия. Если условие, при котором обнаруживаются несколько характерных точек, является слишком плохим для того, чтобы удовлетворять первому критерию, и параллельно, если состояние вычисления расстояния и угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, то в иных отношениях отсутствует средство для точного обнаружения расстояния и угла ориентации, а также величин изменений расстояния и угла ориентации.

[0044] С учетом этого секция 29 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, если среднеквадратические отклонения расстояния и угла ориентации, вычисленных посредством модуля 22 вычисления угла ориентации, превышают предварительно определенные пороговые значения. Кроме того, если число световых пятен, обнаруженных из 35 световых пятен, меньше трех, секция 29 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, поскольку теоретически, уравнение плоскости поверхности 31 дороги не может получаться из такого небольшого числа обнаруженных световых пятен. В случае если уравнение плоскости получается с использованием метода наименьших квадратов, если абсолютное значение максимального значения для разностей между световыми пятнами и плоскостью, полученное посредством уравнения плоскости, равно или выше определенного порогового значения (например, 0,05 м), секция 29 определения состояний вычисления может определять то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию.

[0045] Если секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, и параллельно, если секция 29 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, модуль 26 вычисления собственной позиции использует расстояние и угол ориентации, полученные в предыдущем цикле обработки информации, а также текущую позицию транспортного средства, в качестве начальных точек для операций интегрирования. Это позволяет минимизировать ошибку при вычислении величины перемещения транспортного средства.

[0046] Контроллер 27 сформированного по шаблону светового луча управляет проецированием сформированного по шаблону светового луча 32a посредством светового проектора 11. Например, после того, как переключатель зажигания транспортного средства 10 включается, как только устройство вычисления собственной позиции становится активированным, контроллер 27 сформированного по шаблону светового луча начинает проецировать сформированный по шаблону световой луч 32a. После этого до тех пор, пока устройство вычисления собственной позиции не прекратит работу, контроллер 27 сформированного по шаблону светового луча продолжает проецирование сформированного по шаблону светового луча 32a. В противном случае контроллер 27 сформированного по шаблону светового луча может быть выполнен с возможностью попеременно включать и выключать проецирование света с предварительно определенными интервалами. Вместо этого контроллер 27 сформированного по шаблону светового луча может быть выполнен с возможностью временно проецировать сформированный по шаблону световой луч 32a только тогда, когда секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию.

[0047] Секция 25 определения яркости (секция определения условий обнаружения сформированного по шаблону светового луча) определяет то, равно или выше либо нет обнаруженное условие сформированного по шаблону светового луча, полученного с помощью камеры 12, предварительно определенного порогового значения. Например, секция 25 определения яркости определяет то, равно или выше либо нет среднее значение яркости (обнаруженное условие сформированного по шаблону светового луча) изображения, полученного с помощью камеры 12, порогового значения Bth яркости поверхности дороги (предварительно определенного порогового значения). В этой связи секция 25 определения яркости может определять то, равна или выше либо нет освещенность в изображении, полученном с помощью камеры 12, порогового значения. Кроме того, вместо секции 25 определения яркости датчик яркости может устанавливаться в транспортном средстве.

[0048] Пороговое значение Bth яркости поверхности дороги может быть заранее получено, например, с использованием следующей процедуры. Во-первых, после того как транспортное средство переходит в пустое состояние без людей, багажа, топлива и т.д. в транспортном средстве, изображение поверхности дороги с асфальтобетонным покрытием захватывается с помощью камеры 12 посредством проецирования сформированного по шаблону светового луча на поверхность дороги. В этом случае принимаются такие меры, что яркость поверхности дороги с асфальтобетонным покрытием в изображении может быть практически равномерной. Например, изображение поверхности дороги захватывается со световым окружением, отрегулированным таким образом, что 95% пикселов, представляющих сформированный по шаблону световой луч, имеют яркость в 20 делениях шкалы среднего значения яркости. В этой связи представления предполагают, что значения яркости изображений, полученных с помощью камеры 12, находятся в пределах диапазона от 0 до 255 (где 0 представляет самую маленькую яркость, и 255 представляет самую большую яркость). После этого в полученном изображении среднее значение Bp яркости пикселов, представляющих сформированный по шаблону световой луч, и среднее значение Ba яркости пикселов, представляющих поверхность дороги с асфальтобетонным покрытием, отличных от сформированного по шаблону светового луча, сравниваются между собой. Эта последовательность процессов повторяется сначала с использованием среднего значения Ba яркости пикселов, представляющих поверхность дороги с асфальтобетонным покрытием, и затем с использованием значений, полученных посредством суммирования 10 делений шкалы со средним значением Ba яркости каждый раз, когда последовательность процессов повторяется. Пороговое значение Bth яркости задается как среднее значение такой увеличенной яркости Ba, которое удовлетворяет Bp*0,7<Ba. Другими словами, пороговое значение Bth яркости задается как значение яркости поверхности дороги с асфальтобетонным покрытием, которое составляет приблизительно 30% от яркости сформированного по шаблону светового луча.

[0049] Когда секция 25 определения яркости определяет то, что обнаруженное условие сформированного по шаблону светового луча равно или выше предварительно определенного порогового значения, модуль 21 извлечения сформированного по шаблону светового луча накладывает предварительно определенное число изображений в последовательных кадрах, выбранных из изображений, полученных с помощью камеры 12. В этой связи нижеприведенное описание приводится при условии, что изображения в последовательных кадрах, сохраненных в запоминающем устройстве между прошлым и настоящим временем, используются в качестве изображений, которые должны накладываться. Тем не менее изображения, которые должны накладываться, могут включать в себя изображения, которые камера 12 должна снимать между настоящим и будущим. После этого модуль 21 извлечения сформированного по шаблону светового луча извлекает позицию сформированного по шаблону светового луча из сформированного наложенного изображения. Модуль 22 вычисления угла ориентации может вычислять угол ориентации транспортного средства относительно поверхности дороги с использованием позиции сформированного по шаблону светового луча, извлеченного из наложенного изображения. Между тем модуль 26 вычисления собственной позиции может начинать суммировать величину изменения ориентации посредством задания начальной позиции и угла ориентации транспортного средства (начальных точек), соответственно, равными текущей позиции транспортного средства в данный момент и углу ориентации транспортного средства, вычисленному из наложенного изображения.

[0050] В этом отношении модуль 21 извлечения сформированного по шаблону светового луча задает предварительно определенное число изображений, которые должны накладываться, в зависимости от обнаруженного условия сформированного по шаблону светового луча в изображении, полученном с помощью камеры 12. Обнаруженное условие сформированного по шаблону светового луча может быть представлено, например, посредством отношения (отношения "сигнал-шум") значения яркости сформированного по шаблону светового луча к значению яркости окружающего света. Модуль 21 извлечения сформированного по шаблону светового луча увеличивает число изображений, которые должны накладываться по мере того, как отношение "сигнал-шум" становится меньшим (по мере того, как внешняя среда становится более яркой).

[0051] Как показано на фиг. 7(a), поскольку относительно большое число изображений требуется в относительно яркой внешней среде, величина перемещения транспортного средства, требуемая для того, чтобы получать группу изображений, является относительно большой. Кроме того, как показано на фиг. 7(b), относительно большое число изображений I1 накладывается, чтобы формировать наложенное изображение I2. С другой стороны, как показано на фиг. 8(a), поскольку относительно небольшое число изображений требуется в относительно темной внешней среде, величина перемещения транспортного средства, требуемая для того, чтобы получать группу изображений, является относительно небольшой. Кроме того, как показано на фиг. 8(b), относительно небольшое число изображений I1 накладываются, чтобы формировать наложенное изображение I2.

[0052] Число изображений, которое должно накладываться для извлечения сформированного по шаблону светового луча посредством модуля 21 извлечения сформированного по шаблону светового луча, может задаваться, например, с использованием следующей процедуры. Для начала, для каждого из исходного среднего значения Ba яркости пикселов, представляющих поверхность дороги с асфальтобетонным покрытием, и средних значений Ba яркости, полученных посредством последовательного суммирования 10 делений шкалы, к примеру, когда получается пороговое значение Bth яркости, Rap=Ba/Bp, или отношение среднего значения Ba яркости к среднему значению Bp яркости пикселов, представляющих сформированный по шаблону световой луч, получается посредством экспериментов и т.п. заранее и сохраняется в запоминающем устройстве ECU. После этого, фактическое управление выполняется посредством: округления среднего значения яркости изображений, полученных с помощью камеры 12, до ближайших 10; получения отношения Rap "сигнал-шум" с использованием ближайших 10; получения Sn с использованием уравнения (5), приведенного ниже, посредством обращения к такому полученному отношению Rap "сигнал-шум"; округления такого полученного Sn до ближайшего целого числа; и задания числа изображений, требуемых для того, извлекать сформированный по шаблону световой луч, равным ближайшему целому числу:

Sn=max{(0,5÷(1-Rap)2), 50}... (5).

[0053] Другими словами, когда среднее значение Ba яркости поверхности дороги с асфальтобетонным покрытием составляет приблизительно 29% или меньше от среднего значения Bp яркости сформированного по шаблону светового луча, число изображений, требуемых для того, чтобы извлекать сформированный по шаблону световой луч, задается равным 1. Когда среднее значение Ba яркости составляет 75% от среднего значения Bp яркости, число требуемых изображений задается равным 8. Когда среднее значение Ba яркости составляет 90% или более от среднего значения Bp яркости, число изображений потребности задается равным 50. В этой связи поскольку часть, представляющая область, на которую проецируется сформированный по шаблону световой луч, является достаточно небольшой по сравнению со всем каждым изображением, среднее значение яркости всего изображения может вычисляться. В противном случае число требуемых изображений может задаваться равным числу, которое приводит к тому, что доля успешных попыток извлечения световых пятен сформированного по шаблону светового луча становится 95% или более, посредством фактического наложения изображений, чтобы извлекать световые пятна в эксперименте для получения отношений Rap с использованием среднего значения Ba яркости и значений, полученных посредством последовательного суммирования 10 делений шкалы со средним значением Ba яркости.

[0054] Между тем, как описано ниже, в случае если модуль 21 извлечения сформированного по шаблону светового луча не может формировать (испытывает затруднение в формировании) наложенное изображение, расстояние и угол ориентации, используемые для предыдущего цикла обработки информации (в дальнейшем также называемые просто в качестве "предыдущих значений"), или предварительно определенное начальное расстояние и предварительно определенный начальный угол ориентации транспортного средства (также называемые просто в качестве "начальных значений"), используются в качестве начальных точек.

[0055] Во-первых, возникают случаи, когда чрезмерно небольшое отношение "сигнал-шум" (чрезмерная яркость) слишком сильно увеличивает время, требуемое для операции интегрирования. Например, когда отношение Rap, полученное посредством обращения к ближайшим 10, до которых округляется среднее значение яркости изображений, полученных с помощью камеры 12, составляет 0,95 или более, либо когда среднее значение яркости поверхности дороги с асфальтобетонным покрытием составляет 90% или более от среднего значения яркости сформированного по шаблону светового луча, слишком много времени требуется для того, чтобы формировать наложенное изображение. В этом случае определяется то, что такое допущение, что поверхность дороги изменяется незначительно в то время, когда формируется наложенное изображение, становится нереалистичным, или то, что затруднительно теоретически извлекать сформированный по шаблону световой луч. Таким образом, предыдущие значения или начальные значения используются в качестве начальных точек.

[0056] Во-вторых, возникают случаи, когда транспортное средство реагирует слишком сильно (скорость транспортного средства является слишком большой). Например, в случае если транспортное средство перемещается на расстояние более 0,2 [м] в то время, когда захватывается заданное число изображений, которые должны накладываться, определяется то, что: такое допущение, что поверхность дороги изменяется незначительно, становится нереалистичным; и наложенное изображение не может формироваться. В этом отношении в случае если среднее значение Ba яркости составляет 75% от среднего значения Bp яркости, число изображений, которое должно получаться с помощью камеры на 1000 кадров/с, чтобы формировать одно наложенное изображение, равно 8. По этой причине, если скорость транспортного средства равна или выше 90 км/ч, что получается с использованием уравнения (6), приведенного ниже, предыдущие значения или начальные значения используются в качестве начальных точек:

0,2 [м] ÷ (8 [изображений] ÷ 1000 [кадров/с])

=25 [м/с]

=90 [км/ч]... (6).

[0057] В-третьих, возникают случаи, когда изменение поверхности дороги (ухабы или неровность) является слишком большим. Например, определяется то, изменяется или нет состояние поверхности дороги вокруг транспортного средства в степени, равной или большей порогового значения, в то время как захватывается заданное число изображений, которые должны накладываться. Если более 5% от таких полученных изображений показывают то, что состояние поверхности дороги вокруг транспортного средства изменяется в степени, равной или большей порогового значения, определяется то, что такое допущение, что поверхность дороги изменяется незначительно, становится недопустимым. Таким образом, предыдущие значения или начальные значения используются в качестве начальных точек. В этой связи то, как определять изменение поверхности дороги, подробно описывается во втором варианте осуществления.

[0058] Фиг. 9(a)-9(d), соответственно, показывают изменение флага сброса, изменение числа изображений, которые должны накладываться, изменение условия, при котором обнаруживаются характерные точки, и изменение числа ассоциированных характерных точек в устройстве вычисления собственной позиции по первому варианту осуществления. Например, в циклах обработки информации во время t11 и время t12, после того, как число ассоциированных характерных точек становится равным или меньше 3, как показано на фиг. 9(d), определяется то, что условие, при котором обнаруживаются характерные точки, становится плохим, как показано на фиг. 9(c). В ответ на это, флаг сброса задается равным 1, как показано на фиг. 9(a).

[0059] В цикле обработки информации во время t11, как показано на фиг. 9(b), модуль 21 извлечения сформированного по шаблону светового луча задает число изображений, которые должны накладываться, равным 1 (или решает не накладывать изображение) из среднего значения яркости изображений, полученных с помощью камеры 12. Таким образом, модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч из одного изображения, полученного в текущем цикле обработки информации во время t11.

[0060] Между тем в цикле обработки информации во время t12, как показано на фиг. 9(b), модуль 21 извлечения сформированного по шаблону светового луча задает число изображений, которые должны накладываться, равным 2 из среднего значения яркости изображений, полученных с помощью камеры 12. Кроме того, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения двух изображений, другими словами, изображения, полученного с помощью камеры 12 во время t12, и изображения, полученного с помощью камеры 12 в предыдущем цикле обработки информации (посредством суммирования значений яркости). Таким образом, модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч из наложенного изображения.

[0061] Цикл обработки информации

Далее, в качестве примера способа вычисления собственной позиции для оценки величины перемещения транспортного средства 10 из изображения 38, полученного с помощью камеры 12, описывается цикл обработки информации, который должен многократно выполняться посредством ECU 13, со ссылкой на фиг. 10 и 11. Цикл обработки информации, показанный на блок-схеме последовательности операций способа по фиг. 10, начинается одновременно с тем, как устройство вычисления собственной позиции становится активированным после того, как включается переключатель зажигания транспортного средства 10, и многократно выполняется до тех пор, пока устройство вычисления собственной позиции не прекратит работу.

[0062] На этапе S01 на фиг. 10, контроллер 27 сформированного по шаблону светового луча управляет световым проектором 11 таким образом, чтобы предписывать световому проектору 1 проецировать сформированный по шаблону световой луч 32a на поверхность 31 дороги. С использованием блок-схемы последовательности операций способа на фиг. 10, ниже приводится описание для случая, в котором непрерывно проецируется сформированный по шаблону световой луч 32a.

[0063] Переходя к этапу S11, ECU 13 управляет камерой 12 таким образом, чтобы получать изображение 38, с инструктированием камере 12 выполнять съемку поверхности 31 дороги вокруг транспортного средства 10, в том числе и области проецируемого сформированного по шаблону светового луча 32a. ECU 13 сохраняет данные для изображения, полученного с помощью камеры 12, в запоминающем устройстве. Следует отметить, что ECU 13 допускает автоматическое управление диафрагмой камеры 12. ECU 13 может быть выполнен с возможностью осуществлять управление с обратной связью диафрагмы камеры 12 таким способом, который приводит к тому, что значение яркости следующего изображения становится равным среднему значению между максимальным и минимальным значениями в соответствии со средним яркости изображения 38, полученного в предыдущем цикле обработки информации. В противном случае, в качестве значения яркости области проецируемого сформированного по шаблону светового луча 32a, ECU 13 может получать среднее значение яркости ранее полученного изображения 38 из области за пределами части, из которой извлекается сформированный по шаблону световой луч 32a.

[0064] Переходя к этапу S12, секция 25 определения яркости считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства и определяет то, не меньше или нет средняя яркость изображения порогового значения Bth яркости поверхности дороги. Если секция 25 определения яркости определяет то, что средняя яркость изображения меньше порогового значения Bth яркости поверхности дороги, ECU переходит к этапу S15.

[0065] Переходя к этапу S15, для начала модуль 21 извлечения сформированного по шаблону светового луча считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства и извлекает позицию сформированного по шаблону светового луча 32a из изображения 38, как показано на фиг. 4(c). Модуль 21 извлечения сформированного по шаблону светового луча сохраняет координаты (U_j, V_j) световых пятен S_p в изображении, которые вычисляются как данные по позиции сформированного по шаблону светового луча 32a, в запоминающем устройстве.

[0066] С другой стороны, если на этапе S12 определено то, что средняя яркость изображения равна или выше порогового значения Bth яркости поверхности дороги, ECU переходит к этапу S13. На этапе S13 модуль 21 извлечения сформированного по шаблону светового луча задает число изображений (число кадров), требуемых для того, чтобы извлекать сформированный по шаблону световой луч, из средней яркости изображения, полученного с помощью камеры 12.

[0067] На этапе S14 модуль 21 извлечения сформированного по шаблону светового луча считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства и накладывает заданное число изображений в последовательных кадрах, суммирует значения яркости, с тем чтобы формировать наложенное изображение. Кроме того, модуль 21 извлечения сформированного по шаблону светового луча извлекает позицию сформированного по шаблону светового луча 32a из такого сформированного наложенного изображения. Модуль 21 извлечения сформированного по шаблону светового луча сохраняет координаты (U_j, V_j) световых пятен S_p в изображении, которые вычисляются как данные по позиции сформированного по шаблону светового луча 32a, в запоминающем устройстве.

[0068] На этапе S16 модуль 22 вычисления угла ориентации считывает данные на позиции сформированного по шаблону светового луча 32a, извлеченного на этапе S14 или S15, из запоминающего устройства, вычисляет расстояние и угол ориентации из позиции сформированного по шаблону светового луча 32a и сохраняет такое вычисленное расстояние и угол ориентации в запоминающем устройстве.

[0069] Переходя к этапу S17, ECU 13 обнаруживает характерные точки из изображения 38 и извлекает характерные точки, которые могут быть ассоциированы между предыдущим и текущим циклами обработки информации. Из позиций (U_i, V_i) таких ассоциированных характерных точек в изображении, ECU 13 вычисляет величины изменений расстояния и угла ориентации, а также величину перемещения транспортного средства.

[0070] Более конкретно, для начала детектор 23 характерных точек считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства, обнаруживает характерные точки на поверхности 31 дороги из изображения 38 и сохраняет позиции (U_i, V_i) таких обнаруженных характерных точек в изображении в запоминающем устройстве. Модуль 24 вычисления величины изменения ориентации считывает позиции (U_i, V_i) соответствующих характерных точек в изображении из запоминающего устройства. Из расстояния и угла ориентации, а также позиций (U_i, V_i) характерных точек в изображении модуль 24 вычисления величины изменения ориентации вычисляет относительные позиции (X_i, Y_i, Z_i) характерных точек относительно камеры 12. В этой связи модуль 24 вычисления величины изменения ориентации использует расстояние и угол ориентации, заданные на этапе S16 в предыдущем цикле обработки информации. Модуль 24 вычисления величины изменения ориентации сохраняет относительные позиции (X_i, Y_i, Z_i) характерных точек относительно камеры 12 в запоминающем устройстве.

[0071] После этого модуль 24 вычисления величины изменения ориентации сохраняет позиции (U_i, V_i) характерных точек в изображении и относительные позиции (X_i, Y_i, Z_i) характерных точек относительно камеры 12, вычисленные на этапе S17 в предыдущем цикле обработки информации, из запоминающего устройства. С использованием относительных позиций (X_i, Y_i, Z_i) характерных точек, ассоциированных между предыдущим и текущим циклами обработки информации, а также позиций (U_i, V_i) таких ассоциированных характерных точек в изображении, модуль 24 вычисления величины изменения ориентации вычисляет величины изменений расстояния и угла ориентации. Кроме того, с использованием относительных позиций (X_i, Y_i, Z_i) характерных точек, вычисленных в предыдущем цикле обработки информации, и относительных позиций (X_i, Y_i, Z_i) характерных точек, вычисленных в текущем цикле обработки информации, модуль 24 вычисления величины изменения ориентации вычисляет величину перемещения транспортного средства. "Величины изменений расстояния и угла ориентации" и "величина перемещения транспортного средства" используются в процессе на этапе S19.

[0072] Переходя к этапу S18, ECU 13 задает начальные точки для операций интегрирования, в зависимости от условия, при котором обнаруживаются характерные точки, и состояния вычисления расстояния и угла ориентации с использованием сформированного по шаблону светового луча. Подробное описание для означенного приводится ниже со ссылкой на фиг. 11.

[0073] Переходя к этапу S19, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства из начальных точек для операций интегрирования, заданных в процессе на этапе S18, и величины перемещения транспортного средства, вычисленной в процессе на этапе S17.

[0074] Устройство вычисления собственной позиции по варианту осуществления в конечном счете может вычислять текущую позицию транспортного средства 10 посредством суммирования величины перемещения транспортного средства при многократном выполнении вышеописанной последовательности цикла обработки информации.

[0075] В отношении блок-схемы последовательности операций способа на фиг. 11, приводится подробное описание процедуры для этапа S18 на фиг. 10. На этапе S100 ECU 13 определяет то, является или нет текущий цикл обработки информации циклом, выполняемым в первый раз. Если текущий цикл обработки информации выполняется в первый раз, либо при отсутствии данных по предыдущему циклу обработки информации, ECU 13 переходит к этапу S104. Если текущий цикл обработки информации не является циклом, выполняемым в первый раз, ECU 13 переходит к этапу S101.

[0076] На этапе S101 секция 28 определения условий обнаружения определяет то, является или нет условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, слишком плохим для того, чтобы удовлетворять первому критерию. Если секция 28 определения условий обнаружения определяет то, что условие является плохим (если "Да" на этапе S101), ECU 13 переходит к этапу S102. Если секция 28 определения условий обнаружения определяет то, что условие не является плохим (если "Нет" на этапе S101), ECU 13 переходит к этапу S106. На этапе S106 ECU 13 сохраняет начальные точки для операций интегрирования как есть.

[0077] На этапе S102 ECU 13 определяет то, сформировано или нет уже наложенное изображение. Примеры случая, в котором наложенное изображение еще не сформировано, включают в себя случай, в котором наложенное изображение по-прежнему находится в процессе формирования, поскольку требуется много времени для того, чтобы получать предварительно определенное число изображений, включающих в себя изображения, которые должны получаться в будущем, и случай, в котором теоретически невозможно или затруднительно формировать наложенное изображение. При определении того, что наложенное изображение еще не сформировано (если "Нет" на этапе S102), ECU 13 переходит к этапу S103. При определении того, что наложенное изображение уже сформировано (если "Да" на этапе S102), ECU 13 переходит к этапу S104.

[0078] На этапе S103 секция 29 определения состояний вычисления определяет то, является или нет состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации слишком плохим для того, чтобы удовлетворять второму критерию. Например, секция 29 определения состояний вычисления определяет то, успешно или нет модуль 22 вычисления угла ориентации выполняет вычисление расстояния и угла ориентации. Если секция 29 определения состояний вычисления определяет то, что модуль 22 вычисления угла ориентации выполняет операцию успешно (если "Да" на этапе S103), ECU 13 переходит к этапу S104. Если секция 29 определения состояний вычисления определяет то, что модуль 22 вычисления угла ориентации выполняет операцию неудачно (если "Нет" на этапе S103), ECU 13 переходит к этапу S105.

[0079] На этапе S104 ECU 13 задает начальную точку равной текущей позиции транспортного средства и дополнительно задает начальные точки для операций интегрирования равными расстоянию и углу ориентации, вычисленным на этапе S16, в идентичном цикле обработки информации. С использованием расстояния и угла ориентации в качестве начальных точек, ECU 13 выполняет операции интегрирования снова. Помимо этого с использованием текущей позиции транспортного средства в качестве начальной точки ECU 13 выполняет операцию интегрирования для величины перемещения транспортного средства снова.

[0080] На этапе S105 ECU 13 задает начальную точку равной текущей позиции транспортного средства и дополнительно задает начальные точки для операций интегрирования равными расстоянию и углу ориентации, используемым в предыдущем цикле обработки информации. С использованием расстояния и угла ориентации в качестве начальных точек ECU 13 выполняет операции интегрирования снова. Помимо этого с использованием текущей позиции транспортного средства в качестве начальной точки ECU 13 выполняет операцию интегрирования для величины перемещения транспортного средства снова. После этого ECU 13 переходит к этапу S19 на фиг. 10.

[0081] Преимущества первого варианта осуществления

Как описано выше, согласно первому варианту осуществления секция 25 определения яркости выполняет определение относительно обнаруженного условия сформированного по шаблону светового луча. Если обнаруженное условие сформированного по шаблону светового луча равно или выше предварительно определенного порогового значения, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений в последовательных кадрах между предыдущим и текущим кадрами и извлекает сформированный по шаблону световой луч из наложенного изображения. По этим причинам, даже когда внешняя среда является яркой, проецируемый сформированный по шаблону световой луч на поверхность дороги может точно обнаруживаться. Соответственно, собственная позиция транспортного средства может точно вычисляться.

[0082] Кроме того, число изображений, требуемых для формирования посредством модуля 21 извлечения сформированного по шаблону светового луча наложенного изображения, задается в зависимости от обнаруженного условия сформированного по шаблону светового луча, такого как средняя яркость изображения, полученного с помощью камеры 12. По этой причине значение яркости сформированного по шаблону светового луча, который должен обнаруживаться, может управляться зависимости от того, насколько яркой является внешняя среда. Соответственно, сформированный по шаблону световой луч может точно обнаруживаться.

[0083] Кроме того, как указано на этапе S102 на фиг. 11, расстояние и угол ориентации, используемые в предыдущем цикле обработки информации, или предварительно определенное начальное расстояние и предварительно определенный начальный угол ориентации используются в качестве начальных точек в то время, когда формируется наложенное изображение. По этой причине может предотвращаться ошибка при вычислении собственной позиции.

[0084] Следует отметить, что на этапе S105 на фиг. 11, ECU 13 может задавать начальные точки для операций интегрирования равными предварительно определенному начальному расстоянию и предварительно определенному начальному углу ориентации вместо расстояния и угла ориентации, используемых в предыдущем цикле обработки информации. Более подробно, если секция 28 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, и параллельно если секция 29 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, модуль 26 вычисления собственной позиции может задавать начальные точки для операций интегрирования равными предварительно определенному начальному расстоянию и предварительно определенному начальному углу ориентации, по меньшей мере, с учетом пассажиров и нагрузки в транспортном средстве. Например, модуль 26 вычисления собственной позиции может использовать расстояние и угол ориентации, вычисленные на этапе S16 в цикле обработки информации, наступающем сразу после того, как активируется устройство вычисления собственной позиции. По этой причине ECU 13 может обновлять расстояние и угол ориентации и вычислять величину перемещения посредством задания начальных точек равными расстоянию и углу ориентации, которые не затрагиваются посредством крена или наклона в продольном направлении транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0085] Второй вариант осуществления

Аппаратная конфигурация

Ниже приводится описание для второго варианта осуществления настоящего изобретения или случая, в котором собственная позиция транспортного средства вычисляется на основе изменения состояния поверхности дороги вокруг транспортного средства. Как показано на фиг. 12, устройство вычисления собственной позиции по второму варианту осуществления отличается от устройства вычисления собственной позиции по первому варианту осуществления тем, что устройство вычисления собственной позиции по второму варианту осуществления включает в себя секцию 30 определения состояний поверхности дороги вместо секции 28 определения условий обнаружения и секции 29 определения состояний вычисления. Остальная конфигурация устройства вычисления собственной позиции по второму варианту осуществления является идентичной остальной конфигурации по первому варианту осуществления. По этой причине описание остальной части конфигурации опускается.

[0086] Секция 30 определения состояний поверхности дороги обнаруживает изменения состояния поверхности дороги вокруг транспортного средства и определяет то, изменяется либо нет состояние поверхности дороги вплоть до или более порогового значения. Если секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения, модуль 26 вычисления собственной позиции задает фиксированно равными текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации. В силу этого модуль 22 вычисления угла ориентации прекращает вычисление расстояния и угла ориентации транспортного средства 10 относительно поверхности дороги. Между тем модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства в данный момент, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, посредством суммирования величины изменения ориентации с текущей позицией транспортного средства 10, а также с текущим расстоянием и углом ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации.

[0087] В этом отношении ниже приводится описание того, как определять изменения состояния поверхности дороги. В этом варианте осуществления 35 (5*7) световых пятен сформированного по шаблону светового луча 32a проецируются на поверхности дороги. С учетом этого, например, если только 80% или меньше из 35 световых пятен либо только 28 или меньше световых пятен, могут обнаруживаться в изображении, полученном с помощью камеры 12, секция 30 определения состояний поверхности дороги определяет то, что: поверхность дороги становится очень неровной или ухабистой; и состояние поверхности дороги изменяется вплоть до или более порогового значения.

[0088] Вместо этого секция 30 определения состояний поверхности дороги может оценивать изменения состояния поверхности дороги из величины изменений высот поверхности дороги. Величина изменений высот поверхности дороги может обнаруживаться из колебаний значения, обнаруженного посредством датчика хода, присоединяемого к подвеске каждого колеса транспортного средства. Например, если колебания значения, обнаруженного посредством датчика хода, становятся равными или превышающими 1 Гц, секция 30 определения состояний поверхности дороги оценивает то, что поверхность дороги становится очень неровной или ухабистой, и определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения. Альтернативно, секция 30 определения состояний поверхности дороги может быть выполнена с возможностью: вычислять скорость в вертикальном направлении посредством интегрирования значений, обнаруженных посредством датчика ускорения для измерения ускорения в вертикальном направлении; и за счет этого определять то, что поверхность дороги становится очень неровной или ухабистой, и состояние поверхности дороги изменяется вплоть до или более порогового значения, когда изменение направления скорости становится равным или превышающим 1 Гц.

[0089] В противном случае величина изменений высот поверхности дороги может оцениваться из позиции сформированного по шаблону светового луча 32a в изображении, захваченном с помощью камеры 12. В варианте осуществления сформированный по шаблону световой луч 32a, как показано на фиг. 13, проецируется на поверхность 31 дороги. В этом случае рисуются линия 71, соединяющая световые пятна сформированного по шаблону светового луча 32a в направлении по оси X, и линия 73, соединяющая световые пятна сформированного по шаблону светового луча 32a в направлении по оси Y. После этого если, как указано посредством точки 75, наклон какой-либо из этих линий изменяется на 15 или более градусов в середине линии, секция 30 определения состояний поверхности дороги оценивает то, что поверхность дороги становится очень неровной или ухабистой, и определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения. Вместо этого, как показано на фиг. 13, секция 30 определения состояний поверхности дороги может определять то, что состояние поверхности дороги изменяется вплоть до или более порогового значения, когда разность между расстояниями d1, d2 между смежными световыми пятнами изменяется вплоть до или более 50%.

[0090] После того, как секция 30 определения состояний поверхности дороги за счет этого определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения, модуль 26 вычисления собственной позиции задает фиксированно равными текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации. Таким образом, модуль 22 вычисления угла ориентации прекращает вычисление расстояния и угла ориентации транспортного средства 10 относительно поверхности дороги. Между тем модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства 10 в данный момент, а также текущее расстояние и угол ориентации транспортного средства 10 в данный момент относительно поверхности дороги, посредством суммирования величины изменения ориентации с текущей позицией транспортного средства 10, а также с текущим расстоянием и углом ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации.

[0091] Например, как показано на фиг. 14€, секция 30 определения состояний поверхности дороги отслеживает число обнаруженных световых пятен и задает пороговое значение равным 28, что соответствует 80% из 35 световых пятен. В этом случае при способности обнаруживать 28 или более световых пятен секция 30 определения состояний поверхности дороги задает флаг вычисления угла ориентации равным 1. В силу этого модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги. Между тем модуль 26 вычисления собственной позиции вычисляет текущую собственную позицию транспортного средства посредством: вычисления текущего расстояния и угла ориентации с использованием расстояния и угла ориентации транспортного средства, вычисленных посредством модуля 22 вычисления угла ориентации; и суммирования (продолжения операции интегрирования) величины перемещения транспортного средства с текущей позицией транспортного средства 10, которая вычисляется в предыдущем цикле обработки информации.

[0092] Тем не менее во время t21, когда число обнаруженных световых пятен становится меньше порогового значения, модуль 26 вычисления собственной позиции переключает флаг вычисления угла ориентации на 0. В силу этого начальные точки задаются фиксированно равными текущей позиции транспортного средства 10, а также текущему расстоянию и углу ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации. Модуль 22 вычисления угла ориентации прекращает вычисление расстояния и угла ориентации транспортного средства 10. Таким образом, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства в данный момент, а также текущее расстояние и угол ориентации транспортного средства в данный момент относительно поверхности дороги, посредством суммирования величины изменения ориентации с текущей позицией транспортного средства 10, а также с текущим расстоянием и углом ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации.

[0093] После этого во время t22, когда число обнаруженных световых пятен снова становится больше порогового значения, флаг вычисления угла ориентации задается равным 1. Модуль 22 вычисления угла ориентации возобновляет вычисление расстояния и угол ориентации транспортного средства 10. В силу этого модуль 26 вычисления собственной позиции вычисляет текущее расстояние и угол ориентации транспортного средства 10 с использованием расстояния и угла ориентации транспортного средства 10, вычисленных посредством модуля 22 вычисления угла ориентации. Как описано выше, когда состояние поверхности дороги изменяется в значительной степени, устройство вычисления собственной позиции по варианту осуществления использует текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации. По этой причине, даже когда состояние поверхности дороги изменяется в значительной степени, устройство вычисления собственной позиции по варианту осуществления допускает точное и стабильное вычисление собственной позиции транспортного средства 10.

[0094] Аналогично первому варианту осуществления модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения предварительно определенного числа изображений, если обнаруженное условие сформированного по шаблону светового луча равно или выше предварительно определенного порогового значения. Модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч из сформированного наложенного изображения.

[0095] Кроме того, в случае если большое изменение поверхности дороги предотвращает формирование наложенного изображения, предыдущие значения или начальные значения используются в качестве начальных точек. Например, в то время как заданное число изображений, которые должны накладываться, захватывается, секция 30 определения состояний поверхности дороги определяет то, изменяется или нет поверхность дороги вокруг транспортного средства в степени, равной или большей порогового значения. При определении того, что поверхность дороги изменяется в этой степени в 5% или более от заданного числа изображений, секция 30 определения состояний поверхности дороги определяет то, что такое допущение, что поверхность дороги изменяется незначительно, становится нереалистичным. Таким образом, предыдущие значения или начальные значения используются в качестве начальных точек.

[0096] Фиг. 14(a)-14(b) показывают изменение флага сброса, изменение числа изображений, которые должны накладываться, изменение состояния поверхности дороги между хорошим и плохим и изменение размеров ухабов и неровности поверхности дороги, в устройстве вычисления собственной позиции по второму варианту осуществления. Как показано на фиг. 14(b), с предварительно определенными интервалами определяется то, должно или нет сбрасываться наложенное изображение. В этом отношении, каждый предварительно определенный интервал составляет период в 10 кадров. Тем не менее каждый предварительно определенный интервал может составлять период в 10 секунд.

[0097] Между временами t21 и t22, а также между временами t24 и t25, ухабы и неровность поверхности дороги равны или меньше порогового значения, как показано на фиг. 14(e), и состояние поверхности дороги определяется как плохое, как показано на фиг. 14(d). Таким образом, даже если времена сброса наступают с предварительно определенными интервалами, как показано на фиг. 14(b), флаг сброса остается неизменно равным 0, как показано на фиг. 14(a), и наложенное изображение не формируется.

[0098] Между тем во время t23 наступает одно из времен сброса с предварительно определенными интервалами, как показано на фиг. 14(b), и состояние поверхности дороги определяется как хорошее, как показано на фиг. 14(d). Таким образом, флаг сброса задается равным 1, как показано на фиг. 14(a). Как показано на фиг. 14(c), модуль 21 извлечения сформированного по шаблону светового луча задает число изображений, которые должны накладываться, равным 3 на основе среднего значения яркости изображения, полученного с помощью камеры 12. Кроме того, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения двух изображений, полученных с помощью камеры 12 в последних и предпоследних кадрах в одном изображении, полученном с помощью камеры 12, во время t23. После этого модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч из такого сформированного наложенного изображения.

[0099] Цикл обработки информации

Далее, с использованием фиг. 15 и 16, приводится описание для способа вычисления собственной позиции по второму варианту осуществления настоящего изобретения. Процедуры для этапов S20-S27 и S29, показанных на фиг. 15, являются идентичными процедурам для этапов S10-S17 и S19, показанным на фиг. 10. По этой причине описания для таких процедур опускаются.

[0100] На этапе S28 ECU 13 задает начальные точки для операций интегрирования для вычисления собственной позиции транспортного средства в зависимости от изменения состояния поверхности дороги вокруг транспортного средства. Со ссылкой на блок-схему последовательности операций способа на фиг. 16, приводится описание для подробной процедуры для этапа S28 на фиг. 15.

[0101] Как показано на фиг. 16, на этапе S201 секция 30 определения состояний поверхности дороги определяет то, истек или нет предварительно определенный интервал. Предварительно определенный интервал может задаваться равным, например, продолжительности, которая позволяет камере получать достаточное число изображений, требуемых для формирования посредством модуля 21 извлечения сформированного по шаблону светового луча наложенного изображения. Секция 30 определения состояний поверхности дороги отслеживает то, возникает или нет импульс подсчета интервалов. После того, как импульс подсчета интервалов возникает, секция 30 определения состояний поверхности дороги определяет то, что один предварительно определенный интервал истек, как описано с использованием фиг. 14. В силу этого ECU переходит к этапу S202. С другой стороны, если импульс подсчета интервалов не возникает, секция 30 определения состояний поверхности дороги определяет то, что предварительно определенный интервал еще не истек. В силу этого ECU переходит к этапу S205.

[0102] На этапе S202 секция 30 определения состояний поверхности дороги обнаруживает изменение состояния поверхности дороги вокруг транспортного средства. Более конкретно, секция 30 определения состояний поверхности дороги обнаруживает то, сколько из световых пятен в сформированном по шаблону световом луче 32a обнаруживаются, или обнаруживает флуктуации в значениях, обнаруженных посредством датчика хода, присоединяемого к каждому колесу. В противном случае секция 30 определения состояний поверхности дороги может быть выполнена с возможностью вычислять скорость в вертикальном направлении посредством интегрирования значений, обнаруженных посредством датчика ускорения для измерения ускорения транспортного средства в вертикальном направлении, или обнаруживать позицию сформированного по шаблону светового луча 32a.

[0103] Затем на этапе S203 секция 30 определения состояний поверхности дороги определяет то, изменяется либо нет состояние поверхности дороги вплоть до или более порогового значения. Например, в случае если секция 30 определения состояний поверхности дороги выполнена с возможностью обнаруживать число световых пятен сформированного по шаблону светового луча 32a, если только 28 или меньше световых пятен из 35 световых пятен могут обнаруживаться в изображении, полученном с помощью камеры, секция 30 определения состояний поверхности дороги определяет то, что: поверхность дороги становится очень неровной или ухабистой; и состояние поверхности дороги изменяется вплоть до или более порогового значения.

[0104] В противном случае, в случае использования датчика хода, секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения, если колебания определенного значения становятся равными или превышающими 1 Гц. Кроме того, в случае если секция 30 определения состояний поверхности дороги выполнена с возможностью использовать датчик ускорения, секция 30 определения состояний поверхности дороги вычисляет скорость в вертикальном направлении посредством интегрирования значений, обнаруженных посредством датчика ускорения. Если изменения направления скорости становятся равными или превышающими 1 Гц, секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения.

[0105] Кроме того, в случае если секция 30 определения состояний поверхности дороги выполнена с возможностью использовать позицию сформированного по шаблону светового луча 32a, если наклон одной из линий, соединяющих световые пятна, изменяется на 15 или более градусов в середине линии, секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги изменяется вплоть до или более порогового значения. В противном случае, если разность между расстояниями между смежными световыми пятнами изменяется вплоть до или более 50%, секция 30 определения состояний поверхности дороги может определять то, что состояние поверхности дороги изменяется вплоть до или более порогового значения.

[0106] Как описано выше, секция 30 определения состояний поверхности дороги определяет то, изменяется либо нет состояние поверхности дороги вокруг транспортного средства вплоть до или более порогового значения. Когда секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги вокруг транспортного средства изменяется вплоть до или более порогового значения ("Да" на этапе S203), процедура переходит к этапу S204. С другой стороны, если секция 30 определения состояний поверхности дороги определяет то, что состояние поверхности дороги вокруг транспортного средства не изменяется вплоть до или более порогового значения ("Нет" на этапе S203), процедура переходит к этапу S205.

[0107] На этапе S204 модуль 26 вычисления собственной позиции задает текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги фиксированно равными текущей позиции транспортного средства 10, а также текущему расстоянию и углу ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации. Другими словами, модуль 26 вычисления собственной позиции задает текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации, в качестве начальных точек операции интегрирования.

[0108] В силу этого модуль 22 вычисления угла ориентации прекращает вычисление расстояния и угла ориентации транспортного средства 10 относительно поверхности дороги. Между тем модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства 10 в данный момент, а также текущее расстояние и угол ориентации транспортного средства 10 в данный момент относительно поверхности дороги, посредством суммирования величины изменения ориентации с текущей позицией транспортного средства 10, а также с текущим расстоянием и углом ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в предыдущем цикле обработки информации.

[0109] С другой стороны, на этапе S205 модуль 26 вычисления собственной позиции задает начальные точки операции интегрирования равными текущей позиции транспортного средства 10, а также текущему расстоянию и углу ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются на этапе S15 в текущем цикле обработки информации. В силу этого модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства 10, а также текущее расстояние и угол ориентации транспортного средства 10 относительно поверхности дороги, посредством суммирования величины изменения ориентации с текущей позицией транспортного средства 10, а также с текущим расстоянием и углом ориентации транспортного средства 10 относительно поверхности дороги, которые вычисляются в текущем цикле обработки информации.

[0110] Как только, как описано выше, модуль 26 вычисления собственной позиции задает начальные точки операции интегрирования для вычисления текущей позиции транспортного средства 10 в данный момент, а также текущего расстояния и угла ориентации транспортного средства 10 в данный момент относительно поверхности дороги, процесс на этапе S28 завершается, и процедура переходит к этапу S29 на фиг. 15.

[0111] Преимущества второго варианта осуществления

Как описано выше, согласно второму варианту осуществления секция 25 определения яркости выполняет определение относительно обнаруженного условия сформированного по шаблону светового луча. Если обнаруженное условие сформированного по шаблону светового луча равно или выше предварительно определенного порогового значения, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений в соответствующих кадрах. По этой причине, даже когда внешняя среда является яркой, проецируемый сформированный по шаблону световой луч на поверхность дороги может точно обнаруживаться. Соответственно, собственная позиция транспортного средства может точно вычисляться.

[0112] Кроме того, число изображений, требуемых для формирования посредством модуля 21 извлечения сформированного по шаблону светового луча наложенного изображения, задается в зависимости от условия обнаружения шаблона, такого как средняя яркость изображения, полученного с помощью камеры 12. По этой причине значение яркости сформированного по шаблону светового луча, который должен обнаруживаться, может управляться зависимости от того, насколько яркой является внешняя среда. Соответственно, сформированный по шаблону световой луч может точно обнаруживаться.

[0113] Третий вариант осуществления

Аппаратная конфигурация

Ниже приводится описание для третьего варианта осуществления настоящего изобретения или случая, в котором из изображений, полученных посредством синхронного обнаружения, изображения, соответствующие предварительно определенному числу циклов, накладываются, чтобы формировать наложенное изображение. Как показано на фиг. 17, устройство вычисления собственной позиции по третьему варианту осуществления отличается от устройства вычисления собственной позиции по первому варианту осуществления тем, что устройство вычисления собственной позиции по третьему варианту осуществления не включает в себя ни секцию 28 определения условий обнаружения, ни секцию 29 определения состояний вычисления. Остальная конфигурация устройства вычисления собственной позиции по третьему варианту осуществления является идентичной остальной конфигурации по первому варианту осуществления. По этой причине описание остальной части конфигурации опускается.

[0114] Контроллер 27 сформированного по шаблону светового луча начинает проецировать сформированный по шаблону световой луч 32a, яркость которого периодически изменяется. После этого контроллер 27 сформированного по шаблону светового луча продолжает проецирование сформированного по шаблону светового луча 32a до тех пор, пока устройство вычисления собственной позиции не прекратит работу. В противном случае контроллер 27 сформированного по шаблону светового луча может быть выполнен с возможностью проецировать сформированный по шаблону световой луч 32a в зависимости от необходимости. В варианте осуществления электроэнергия, которая должна подаваться в световой проектор 11, управляется, чтобы, в качестве примера изменения яркости, яркость проецируемого светового шаблона изменялась аналогично тому, как изменяется синусоидальная волна предварительно определенной частоты.

[0115] Модуль 21 извлечения сформированного по шаблону светового луча считывает изображения, полученные с помощью камеры 12, из запоминающего устройства, выполняет процесс синхронного обнаружения для изображений на вышеуказанной предварительно определенной частоте и извлекает сформированный по шаблону световой луч 32a из таких обработанных изображений.

[0116] Далее приводится описание для процесса синхронного обнаружения. Измеренный сигнал, включенный в изображения, захваченные с помощью камеры 12, выражается с помощью sin(ω0+α). Этот измеренный сигнал содержит сигналы, представляющие солнечный свет и искусственный свет, оба из которых имеют различные частотные компоненты, в дополнение к сигналу, представляющему проецируемый световой шаблон. С учетом этого измеренный сигнал sin(ω0+α) умножается на опорный сигнал sin(ωr+β), частота которого является частотой ωr модуляции. Таким образом, умножение дает в результате:

cos(ω0-ωr+α-β)/2-cos(ω0+ωr+α+β)/2.

[0117] При прохождении такого полученного измеренного сигнала фильтр нижних частот удаляет сигналы, имеющие частоты ω0, которые не равны ωr, либо солнечный свет и искусственный свет, который не является проецируемым световым шаблоном, и частоты которого не равны ωr. Напротив, сигнал, имеющий частоту ω0, которая равна ωr, или проецируемый световой шаблон, частота которого равна ωr, может извлекаться, поскольку проецируемый световой шаблон представлен посредством cos(α-β)/2. Использование процесса синхронного обнаружения, аналогичного означенному, позволяет получать изображение, представляющее только извлеченный проецируемый световой шаблон.

[0118] Другими словами, в варианте осуществления контроллер 27 сформированного по шаблону светового луча модулирует яркость сформированного по шаблону светового луча 32a с предварительно определенной частотой ωr модуляции, которая задается заранее. Таким образом, проецируемый световой шаблон, яркость которого модулируется с частотой ωr, проецируется на поверхность дороги. Между тем модуль 22 вычисления угла ориентации может извлекать только проецируемый световой шаблон посредством умножения изображения, захваченного с помощью камеры 12 (измеренного сигнала), на частоту ωr модуляции.

[0119] Фиг. 18(a) является характеристической схемой, показывающей изменение яркости сформированного по шаблону светового луча 32a, проецируемого посредством светового проектора 11. Фиг. 18(b) является характеристической схемой, показывающей изменение флага обнаружения характерных точек. Например, яркость управляется таким способом, который приводит к тому, что яркость изменяется аналогичному тому, как изменяется синусоидальная волна, как показано на фиг. 18(a),

[0120] В этом отношении приводится описание для того, как задавать яркость сформированного по шаблону светового луча 32a. В этом варианте осуществления максимальная яркость сформированного по шаблону светового луча 32a (верхние пики яркости B1, показанной на фиг. 18(a)) задается, чтобы сформированный по шаблону световой луч 32a мог обнаруживаться даже под ярким небом при летнем солнцестоянии (в июне), когда количество солнечного света является наибольшим в году. Помимо этого минимальная яркость сформированного по шаблону светового луча (нижние пики яркости B1, показанной на фиг. 18(a)) задается, чтобы проецируемый световой шаблон не обнаруживался неправильно в качестве характерных точек поверхности дороги с вероятностью 99% или более ночью, когда влияние сформированного по шаблону светового луча является наибольшим за день.

[0121] Частота для модуляции яркости сформированного по шаблону светового луча задается равной 200 [Гц], и частота кадров камеры 12 (число изображений, захваченных в секунду) задается, например, равной 2400 [кадров/с]. Причина этих настроек состоит в том, что вариант осуществления допускает то, что максимальная скорость транспортного средства составляет 72 км/ч (приблизительно равна 20 м/с) и в силу этого уменьшает величину перемещения транспортного средства в расчете на цикл кадра до 0,1 м или менее. Это обусловлено тем, что при определении из принципа варианта осуществления желательно, если область, на которую проецируется сформированный по шаблону световой луч 32a, и область, из которой обнаруживаются характерные точки, находятся максимально возможно близко друг к другу или совпадают друг с другом. Кроме того, при определении из принципа синхронного обнаружения большая величина перемещения в расчете на цикл и изменения поверхности дороги в ходе перемещения с большой вероятностью должны обеспечивать возможность изменений солнечного света и искусственного света, отличного от проецируемого светового шаблона, и в силу этого приводить к тому, что предварительное условие для синхронного обнаружения становится недопустимым. Вариант осуществления исключает эту вероятность посредством уменьшения величины перемещения в расчете на цикл. По этой причине использование более высокоскоростной камеры и дополнительное уменьшение цикла позволяют ожидать дополнительное улучшение рабочих характеристик.

[0122] Детектор 23 характерных точек определяет то, не превышает или нет яркость сформированного по шаблону светового луча 32a, проецируемого посредством светового проектора 11, пороговое значение Bth яркости, заданное заранее. Если яркость превышает пороговое значение Bth яркости, модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч 32a посредством вышеописанного процесса синхронного обнаружения. Например, как показано на фиг. 19(a) и 19(c), модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч 32a посредством процесса синхронного обнаружения из изображения, захваченного во время t1 или во время t3 (когда яркость B1 превышает пороговое значение Bth яркости), показанное на фиг. 18(a).

[0123] С другой стороны, если яркость равна или меньше порогового значения Bth яркости, детектор 23 характерных точек обнаруживает характерные точки, присутствующие на поверхности 31 дороги. Более конкретно, в случае если яркость B1 сформированного по шаблону светового луча 32a изменяется аналогично тому, как изменяется синусоидальная волна, как показано на фиг. 18(a), детектор 23 характерных точек обнаруживает характерные точки в течение периодов времени, когда яркость B1 не превышает пороговое значение Bth яркости. Другими словами, как показано на фиг. 18(b), детектор 23 характерных точек поддерживает флаг обнаружения характерных точек равным 1 в течение периодов времени, когда яркость B1 не превышает пороговое значение Bth яркости, и обнаруживает характерные точки в течение этих периодов времени. Например, как показано на фиг. 19(b), детектор 23 характерных точек обнаруживает характерные точки из изображения, захваченного во время t2 (когда яркость B1 равна или выше порогового значения Bth яркости), показанное на фиг. 18(b). После этого, на основе позиций в изображении характерных точек, обнаруженных посредством детектора 23 характерных точек, модуль 24 вычисления величины изменения ориентации вычисляет величину изменения каждой характерной точки относительно камеры 12. В этом отношении область, из которой обнаруживаются характерные точки, полностью совпадает или частично перекрывается с областью, на которую проецируется сформированный по шаблону световой луч 32a.

[0124] В варианте осуществления, когда секция 25 определения яркости определяет то, что обнаруженное условие сформированного по шаблону светового луча равно или больше предварительно определенного порогового значения, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством: выполнения синхронного обнаружения для изображений, захваченных с помощью камеры 12 с предварительно определенной частотой модуляции, чтобы получать синхронизированные изображения, которые соответствуют предварительно определенному числу циклов; и наложения синхронизированных изображений (суммирования их значений яркости). Изображение, представляющее только извлеченный проецируемый световой шаблон, может получаться из изображения, захваченного в течение одного цикла опорного сигнала. В случае если процесс выполняется в двух или более циклах, изображения накладываются посредством суммирования значений яркости пикселов для изображений, извлеченных в соответствующих циклах. В этой связи извлечение световых пятен из наложенного изображения может достигаться посредством применения процесса преобразования в двоичную форму к стандартизированному результату, который получается посредством деления на число наложенных изображений, значения яркости пикселов которых суммируются.

[0125] Далее приводится описание для примера того, как задавать предварительно определенные циклы для наложения. Для начала, со ссылкой на отношение Rap, полученное с использованием ближайших 10, до которых округляется среднее значение яркости изображения, полученного с помощью камеры 12, Fn получается с использованием уравнения (7), приведенного ниже. Число предварительно определенных циклов задается равным ближайшему целому значению, до которого округляется такой полученный Fn. Более конкретно, когда среднее яркости поверхности дороги с асфальтобетонным покрытием меньше 50% от средней яркости сформированного по шаблону светового луча, число предварительно определенных циклов задается равным 1. Когда 75%, число предварительно определенных циклов задается равным 2. Когда 90% или больше, число предварительно определенных циклов задается равным 5:

Fn=max{(0,5÷(1-Rap)), 10}... (7).

[0126] Следует отметить, что число предварительно определенных циклов может задаваться равным числу, которое приводит к тому, что доля успешных попыток извлечения световых пятен сформированного по шаблону светового луча становится 95% или более, посредством фактического выполнения синхронного обнаружения для извлечения в эксперименте для получения отношений Rap с использованием среднего значения Ba яркости и значений, полученных посредством фактического последовательного суммирования 10 делений шкалы со средним значением Ba яркости.

[0127] В этом отношении, если наложенное изображение не может формироваться, поскольку скорость транспортного средства является слишком большой, используются предыдущие значения или начальные значения. Например, когда среднее яркости поверхности дороги с асфальтобетонным покрытием составляет 75% от средней яркости сформированного по шаблону светового луча, два цикла требуются для синхронного обнаружения. Кроме того, когда число изображений, требуемых в расчете на цикл при синхронном обнаружении, равно 4, и скорость транспортного средства, которая получается с использованием уравнения (8), приведенного ниже, равно или выше 90 км/ч, предыдущие значения или начальные значения используются в качестве начальных точек:

0,2 [м]÷{(4 [изображения]*2 [цикла])÷1000 [кадров/с]}

=25 [м/с]

=90 [км/ч]... (8).

[0128] Между тем, если наложенное изображение не может формироваться, поскольку изменение поверхности дороги является большим, используются предыдущие значения или начальные значения. Определяется то, изменяется или нет состояние поверхности дороги вокруг транспортного средства в степени, равной или большей порогового значения, в течение заданного числа циклов для синхронного обнаружения. Если 5% или более изображений, захваченных в течение заданного числа циклов для синхронного обнаружения, показывают то, состояние поверхности дороги вокруг транспортного средства изменяется в степени, равной или большей порогового значения, определяется то, что такое допущение, что поверхность дороги изменяется незначительно, становится недопустимым. Таким образом, предыдущие значения или начальные значения используются в качестве начальных точек. В случае если используется синхронное обнаружение, определение относительно состояния поверхности дороги может выполняться с использованием датчика хода.

[0129] Фиг. 20(a)-20(d) соответственно показывают изменение флага сброса, изменение времени завершения каждого цикла, изменение числа частот, которые должны накладываться, и изменение мощности проецирования света в устройстве вычисления собственной позиции по третьему варианту осуществления. Каждое из времен t31, t32, t33 представляет собой время завершения каждого цикла проецирования опорного сигнала, как показано на фиг. 20(b). Во времена t31, t32, t33 циклическая мощность проецирования света становится наименьшей, как показано на фиг. 20(d), и флаг сброса задается равным 1, как показано на фиг. 20(a).

[0130] Во времена t31, t33 число циклов, которые должны накладываться, задается равным 1, как показано на фиг. 20(c). Таким образом, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображения, соответствующего одному циклу непосредственно перед временем t31, и наложенное изображение посредством наложения изображения, соответствующего одному циклу непосредственно перед временем t33.

[0131] С другой стороны, во время t32 число циклов, которые должны накладываться, задается равным 2, как показано на фиг. 20(c). Таким образом, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений, соответствующих двум циклам T1, T2 непосредственно перед временем t32.

[0132] Цикл обработки информации

Далее, в качестве примера способа вычисления собственной позиции для оценки величины перемещения транспортного средства 10 из изображения 38 (см. фиг. 5), полученного с помощью камеры 12, описывается цикл обработки информации, который должен многократно выполняться посредством ECU 13, посредством ссылки на блок-схему последовательности операций способа, показанную на фиг. 21.

[0133] Цикл обработки информации, показанный на фиг. 21, начинается одновременно с тем, как устройство 100 вычисления собственной позиции становится активированным после того, как переключатель зажигания транспортного средства 10 включается, и многократно выполняется до тех пор, пока устройство 100 вычисления собственной позиции не прекратит работу.

[0134] Во-первых, на этапе S31 на фиг. 21, контроллер 27 сформированного по шаблону светового луча управляет световым проектором 11 таким образом, чтобы предписывать световому проектору 11 проецировать сформированный по шаблону световой луч на поверхность 31 дороги вокруг транспортного средства. В этом случае контроллер 27 сформированного по шаблону светового луча управляет мощностью проецирования света, чтобы, как показано на фиг. 18(a), яркость B1 сформированного по шаблону светового луча изменялась аналогично тому, как изменяется синусоидальная волна предварительно определенной частоты. Например, частота синусоидальной волны задается равной 200 [Гц]. Таким образом, сформированный по шаблону световой луч, яркость B1 которого изменяется со временем идентично тому, как изменяется синусоидальная волна, проецируется на поверхность 31 дороги.

[0135] На этапе S32 камера 12 захватывает изображение поверхности 31 дороги, включающей в себя область, на которую проецируется сформированный по шаблону световой луч.

[0136] На этапе S33 ECU 13 определяет то, завершен или нет один цикл проецирования опорного сигнала для синхронного обнаружения. Если ECU 13 определяет то, что один цикл проецирования опорного сигнала для синхронного обнаружения завершен, ECU 13 переходит к этапу S35. Если ECU 13 определяет то, что один цикл проецирования опорного сигнала для синхронного обнаружения еще не завершен, ECU 13 переходит к этапу S34.

[0137] На этапе S34 детектор 23 характерных точек обнаруживает характерные точки (например, неровные части, присутствующие на асфальте) из изображения 38 и извлекает характерные точки, которые могут быть ассоциированы между предыдущим и текущим циклами обработки информации, и обновляет расстояние и угол ориентации из позиций (U_i, V_i) в изображении таких извлеченных характерных точек.

[0138] Более конкретно, когда флаг обнаружения характерных точек задается равным 1, детектор 23 характерных точек считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства, обнаруживает характерные точки на поверхности 31 дороги из изображения 38 и сохраняет позиции (U_i, V_i) в изображении соответствующих характерных точек в запоминающем устройстве. Модуль 24 вычисления величины изменения ориентации считывает позиции (U_i, V_i) в изображении соответствующих характерных точек из запоминающего устройства и вычисляет относительные позиции (X_i, Y_i, Z_i) характерных точек относительно камеры 12 из расстояния и угла ориентации, а также позиций (U_i, V_i) в изображении характерных точек. Модуль 24 вычисления величины изменения ориентации сохраняет относительные позиции (X_i, Y_i, Z_i) характерных точек относительно камеры 12 в запоминающем устройстве.

[0139] Далее модуль 24 вычисления величины изменения ориентации считывает позиции (U_i, V_i) в изображении характерных точек и относительные позиции (X_i, Y_i, Z_i) характерных точек, вычисленные на этапе S31 в предыдущем цикле обработки информации, из запоминающего устройства. Модуль 24 вычисления величины изменения ориентации вычисляет величины изменений расстояния и угла ориентации с использованием относительных позиций (X_i, Y_i, Z_i) и позиций (U_i, V_i) в изображении характерных точек, которые могут быть ассоциированы между предыдущим и текущим циклами обработки информации. Модуль 24 вычисления величины изменения ориентации обновляет расстояние и угол ориентации посредством суммирования вышеуказанных величин изменений расстояния и угла ориентации с расстоянием и углом ориентации, полученными в предыдущем цикле обработки информации. После этого модуль 24 вычисления величины изменения ориентации сохраняет такое обновленное расстояние и угол ориентации в запоминающем устройстве. Другими словами, модуль 24 вычисления величины изменения ориентации обновляет расстояние и угол ориентации посредством выполнения операции интегрирования для расстояния и угла ориентации, заданных посредством процесса на этапе S34 или S37 (описаны ниже) в предыдущем цикле, посредством суммирования величин изменений расстояния и угла ориентации, вычисленных в текущих циклах обработки информации. После этого ECU 13 переходит к этапу S38.

[0140] С другой стороны, на этапе S35 из средней яркости изображения, полученного с помощью камеры 12, модуль 21 извлечения сформированного по шаблону светового луча задает частоту для синхронного обнаружения, которая требуется для того, чтобы извлекать сформированный по шаблону световой луч.

[0141] На этапе S36 модуль 21 извлечения сформированного по шаблону светового луча извлекает сформированный по шаблону световой луч из группы изображений, полученных посредством синхронного обнаружения в текущем цикле опорного сигнала.

[0142] На этапе S37 модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений сформированного по шаблону светового луча, извлеченного посредством синхронного обнаружения в предыдущих циклах, причем число таких наложенных изображений соответствует заданному числу циклов на этапе S35. Модуль 21 извлечения сформированного по шаблону светового луча дополнительно извлекает позицию сформированного по шаблону светового луча из такого сформированного наложенного изображения. На основе позиции сформированного по шаблону светового луча модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации.

[0143] На этапе S38 ECU 13 выбирает начальные точки для операций интегрирования. Этот процесс достигается посредством: выбора расстояния и угла ориентации, вычисленных из позиции сформированного по шаблону светового луча в первом цикле обработки информации; и задания начальных точек для операций интегрирования равными такому выбранному расстоянию и углу ориентации. После этого, в случае если предварительно определенное условие удовлетворяется, или в случае, если условие обнаружения характерных точек посредством детектора 23 характерных точек ухудшается, чтобы не допускать обнаружения нескольких характерных точек во время, когда флаг задается равным 1, ECU 13 сбрасывает начальные точки для вычисления величины перемещения на расстояние и угол ориентации, вычисленные из позиции сформированного по шаблону светового луча, или на расстояние и угол ориентации, вычисленные посредством процесса на этапе S37. С другой стороны, в случае если детектор 23 характерных точек обнаруживает характерные точки нормально, ECU 13 обновляет расстояние и угол ориентации на основе позиций соответствующих характерных точек.

[0144] Другими словами, в случае если детектор 23 характерных точек не обнаруживает характерные точки нормально, расстояние и угол ориентации камеры 12 не могут задаваться с высокой точностью. Если величина перемещения транспортного средства вычисляется с использованием неточного расстояния и угла ориентации, величина перемещения транспортного средства не может обнаруживаться с высокой точностью. В таком случае, следовательно, начальные точки для вычисления величины перемещения задаются равными расстоянию и углу ориентации, вычисленным из позиции сформированного по шаблону светового луча. В силу этого большие ошибки на расстоянии и угол ориентации предотвращаются.

[0145] Затем на этапе S39 модуль 26 вычисления собственной позиции вычисляет величину (ΔL) перемещения камеры 12 относительно поверхности 31 дороги или величину перемещения транспортного средства 10 из расстояния и угла ориентации, вычисленных посредством процесса на этапе S34 или S37, начальных точек операций интегрирования и величин изменений позиций (U_i, V_i) в изображении характерных точек.

[0146] Таким образом, устройство вычисления собственной позиции по третьему варианту осуществления допускает вычисление позиции транспортного средства 10 посредством повторного выполнения вышеописанной последовательности цикла обработки информации для суммирования величин перемещения транспортного средства 10.

[0147] Преимущества третьего варианта осуществления

Как описано выше, согласно третьему варианту осуществления секция 25 определения яркости выполняет определение относительно обнаруженного условия сформированного по шаблону светового луча. Если обнаруженное условие сформированного по шаблону светового луча равно или выше предварительно определенного порогового значения, модуль 21 извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений в соответствующих кадрах, причем число таких наложенных изображений соответствует предварительно определенному числу циклов. По этой причине, даже когда внешняя среда является яркой, проецируемый сформированный по шаблону световой луч на поверхность дороги может точно обнаруживаться. Соответственно, собственная позиция транспортного средства может точно вычисляться.

[0148] Кроме того, число циклов, требуемых для формирования посредством модуля 21 извлечения сформированного по шаблону светового луча наложенного изображения, задается в зависимости от условия обнаружения шаблона, такого как средняя яркость изображения, полученного с помощью камеры 12. По этой причине значение яркости сформированного по шаблону светового луча, который должен обнаруживаться, может управляться зависимости от того, насколько яркой является внешняя среда. Соответственно, сформированный по шаблону световой луч может точно обнаруживаться.

[0149] Другой вариант осуществления

Хотя выше описаны первый-третий варианты осуществления настоящего изобретения, как описано выше, ни одно из описаний и чертежей, составляющих части раскрытия сущности, не должно истолковываться как ограничивающее настоящее изобретение. Раскрытие сущности должно прояснять различные альтернативные варианты осуществления, примеры и функциональные технологии для специалистов в данной области техники.

[0150] Первый-третий варианты осуществления настоящего изобретения главным образом поясняют случай, в котором наложенное изображение формируется посредством наложения изображений, полученных с помощью камеры 12 от прошлого до настоящего времени. Тем не менее наложенное изображение может формироваться посредством наложения изображений, которые включают в себя одно или более изображений, которые должны получаться с помощью камеры 12 в будущем. Включение изображений, которые должны получаться в будущем, предположительно должно возникать, например, в случае если сформированный по шаблону световой луч проецируется прерывисто, а не постоянно. В этом случае модуль 21 извлечения света с предварительно установленным шаблоном формирует наложенное изображение, как только получаются все изображения, требуемые для того, чтобы извлекать сформированный по шаблону световой луч. Модуль вычисления собственной позиции может быть выполнен с возможностью начинать операции интегрирования с использованием предыдущих значений или начальных значений, заданных в качестве начальной точки до того, как получаются все изображения, требуемые для того, чтобы извлекать сформированный по шаблону световой луч (в то время как наложенное изображение формируется).

[0151] Хотя фиг. 2 показывает пример, в котором камера 12 и световой проектор 11 устанавливаются перед транспортным средством 10, камера 12 и световой проектор 11 могут устанавливаться по бокам, сзади или снизу транспортного средства 10. Кроме того, хотя фиг. 2 показывает четырехколесный легковой автомобиль в качестве примера транспортного средства 10 по вариантам осуществления, настоящее изобретение является применимым ко всем движущимся телам (транспортным средствам), таким как мотоциклы, грузовики и специальные транспортные средства для транспортировки строительной техники, при условии, что характерные точки на поверхностях дороги и поверхностях стен могут захватываться из таких движущихся тел.

Список условных обозначений

[0152] 13 - ECU

10 - транспортное средство

11 - световой проектор

12 - камера (модуль захвата изображений)

21 - модуль извлечения сформированного по шаблону светового луча (формирователь наложенных изображений)

22 - модуль вычисления угла ориентации

23 - детектор характерных точек

24 - модуль вычисления величины изменения ориентации

25 - секция определения яркости (секция определения условий обнаружения сформированного по шаблону светового луча)

26 - модуль вычисления собственной позиции

28 - секция определения условий обнаружения

29 - секция определения состояний вычисления

30 - секция определения состояния поверхности дороги

31 - поверхность дороги

32a, 32b - сформированный по шаблону световой луч

T_e - характерная точка

Изобретение относится к устройству вычисления собственного положения и к способу вычисления собственного положения. Устройство вычисления собственной позиции включает в себя: световой проектор (11), выполненный с возможностью проецировать сформированный по шаблону световой луч на поверхность дороги вокруг транспортного средства; модуль (12) захвата изображений, выполненный с возможностью захватывать изображение области, на которую проецируется сформированный по шаблону световой луч; модуль (21) извлечения сформированного по шаблону светового луча, выполненный с возможностью извлекать позицию сформированного по шаблону светового луча из изображения; модуль (22) вычисления угла ориентации, выполненный с возможностью вычислять угол ориентации транспортного средства относительно поверхности дороги из позиции сформированного по шаблону светового луча; модуль (24) вычисления величины изменения ориентации, выполненный с возможностью вычислять величину изменения ориентации транспортного средства на основе временных изменений нескольких характерных точек на поверхности дороги в изображении; и модуль (26) вычисления собственной позиции, выполненный с возможностью вычислять текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства. Если обнаруженное условие сформированного по шаблону светового луча равно или выше порогового значения, модуль (21) извлечения сформированного по шаблону светового луча извлекает позицию сформированного по шаблону светового луча из наложенного изображения посредством наложения изображений в кадрах, полученных с помощью модуля (12) захвата изображений. Обеспечивается точное обнаружение сформированного по шаблону светового луча, проецируемого на поверхность дороги, и точное вычисление собственной позиции транспортного средства. 2 н. и 3 з.п. ф-лы, 21 ил.

1. Устройство вычисления собственной позиции, содержащее:

световой проектор (11), выполненный с возможностью проецировать сформированный по шаблону световой луч (32a, 32b) на поверхность (31) дороги вокруг транспортного средства (10);

модуль (12) захвата изображений, установленный в транспортном средстве (10) и выполненный с возможностью захватывать изображение поверхности (31) дороги вокруг транспортного средства, включающее в себя область, на которую проецируется сформированный по шаблону световой луч (32a, 32b);

модуль (21) извлечения сформированного по шаблону светового луча, выполненный с возможностью извлекать позицию сформированного по шаблону светового луча (32a, 32b) из изображения, полученного с помощью модуля (12) захвата изображений;

модуль (22) вычисления угла ориентации, выполненный с возможностью вычислять угол ориентации транспортного средства (10) относительно поверхности (31) дороги из извлеченной позиции сформированного по шаблону светового луча (32a, 32b);

модуль (24) вычисления величины изменения ориентации, выполненный с возможностью вычислять величину изменения ориентации транспортного средства на основе временных изменений множества характерных точек (T_e) на поверхности дороги в изображении, полученном с помощью модуля (12) захвата изображений; и

модуль (26) вычисления собственной позиции, выполненный с возможностью вычислять текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства, при этом:

если обнаруженное условие сформированного по шаблону светового луча (32a, 32b) равно или выше порогового значения, модуль (21) извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения изображений в кадрах, полученных с помощью модуля (12) захвата изображений, и извлекает позицию сформированного по шаблону светового луча (32a, 32b) из наложенного изображения.

2. Устройство вычисления собственной позиции по п. 1, в котором модуль (21) извлечения сформированного по шаблону светового луча задает число изображений, которые должны накладываться, чтобы формировать наложенное изображение в зависимости от значения яркости изображения, полученного с помощью модуля (12) захвата изображений.

3. Устройство вычисления собственной позиции по пп. 1, 2, в котором модуль (26) вычисления собственной позиции начинает суммировать величину изменения ориентации с использованием угла ориентации, используемого в предыдущем цикле обработки информации, или начального угла ориентации в качестве начальной точки, в то время как модуль (21) извлечения сформированного по шаблону светового луча формирует наложенное изображение.

4. Устройство вычисления собственной позиции по пп. 1, 2, дополнительно содержащее контроллер (27) сформированного по шаблону светового луча, выполненный с возможностью модулировать яркость сформированного по шаблону светового луча (32a, 32b) с предварительно определенной частотой модуляции, при этом:

модуль (21) извлечения сформированного по шаблону светового луча формирует наложенное изображение посредством наложения синхронных изображений, полученных посредством выполнения синхронного обнаружения с предварительно определенной частотой модуляции для изображений, полученных с помощью модуля (12) захвата изображений, причем число таких наложенных синхронных изображений соответствует предварительно определенному числу циклов.

5. Способ вычисления собственной позиции, содержащий:

этап, на котором проецируют сформированный по шаблону световой луч (32a, 32b) на поверхность (31) дороги вокруг транспортного средства (10);

этап, на котором предписывают модулю (12) захвата изображений захватывать изображение поверхности дороги вокруг транспортного средства, включающей в себя область, на которую проецируется сформированный по шаблону световой луч (32a, 32b);

этап, на котором извлекают позицию сформированного по шаблону светового луча (32a, 32b) из изображения, полученного с помощью модуля (12) захвата изображений;

этап, на котором вычисляют угол ориентации транспортного средства относительно поверхности (31) дороги из извлеченной позиции сформированного по шаблону светового луча (32a, 32b);

этап, на котором вычисляют величину изменения ориентации транспортного средства на основе временных изменений множества характерных точек на поверхности дороги в изображении, захваченном с помощью модуля (12) захвата изображений; и

этап, на котором вычисляют текущую позицию и текущий угол ориентации транспортного средства (10) посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства, при этом:

на этапе извлечения позиции сформированного по шаблону светового луча (32a, 32b), если обнаруженное условие сформированного по шаблону светового луча (32a, 32b) равно или выше порогового значения, наложенное изображение формируется посредством наложения изображений в кадрах, полученных с помощью модуля (12) захвата изображений, и позиция сформированного по шаблону светового луча извлекается из наложенного изображения.