СПОСОБ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И УСТРОЙСТВО РАСПОЗНАВАНИЯ ОБЪЕКТОВ Российский патент 2023 года по МПК G01S17/86 G01S17/931 G08G1/16 G06T7/12 G06V10/22 

Область техники

[0001]

Настоящее изобретение относится к способу распознавания объектов и устройству распознавания объектов.

Уровень техники

[0002]

В PTL 1 описывается технология выделения группы точек возможного пешехода (кандидата на пешехода) путем группирования группы точек, полученных путем обнаружения пешехода лазерным радаром, определения положения области обнаружения на основе результата распознавания пешехода посредством распознавания изображения, выделения (извлечения) группы точек, включенных в область обнаружения, из группы точек возможного пешехода, и обнаружения выделенной группы точек в качестве пешехода.

Документы предшествующего уровня техники

Патентная литература

[0003]

PTL1: JP 2010-071942 А

Сущность изобретения

Техническая проблема

[0004]

Однако в традиционных технологиях существовала вероятность того, что изображение (рисунок или фотография) человека, нарисованного на объекте (например, на кузове автобуса или трамвая), или пассажира в транспортном средстве ложно распознается как пешеход.

Задачей настоящего изобретения является повышение точности обнаружения пешехода, находящегося в окружении собственного транспортного средства.

Решение проблемы

[0005]

В соответствии с аспектом настоящего изобретения предложен способ распознавания объектов, включающий в себя: обнаружение множества положений на поверхностях объектов в окружении собственного транспортного средства вдоль предварительно заданного направления и получение группы точек; формирование захваченного изображения окружения собственного транспортного средства; группирование точек, включенных в полученную группу точек, и классификацию точек в группу точек возможного объекта; извлечение, из числа точек возможного объекта, причем точки возможного объекта являются точками, включенными в группу точек возможного объекта, положения, в котором изменение расстояния от собственного транспортного средства между соседними точками возможного объекта увеличивается от значения, равного или меньшего предварительно заданного порогового значения, до значения, превышающего предварительно заданное пороговое значение, в качестве возможного положения границы, при этом возможное положение границы представляет собой внешнее конечное положение объекта; извлечение области, в которой человек обнаружен на захваченном изображении, в качестве частичной области посредством обработки распознавания изображения; и когда на захваченном изображении положение возможного положения границы совпадает с положением границы частичной области, причем положение границы является внешним конечным положением в предварительно заданном направлении, распознается, что пешеход находится в частичной области.

Преимущественные эффекты изобретения

[0006]

Согласно аспекту настоящего изобретения можно повысить точность обнаружения пешехода, находящегося в окружении собственного транспортного средства.

Задача и преимущества изобретения будут реализованы и достигнуты с помощью элементов и комбинаций, особо указанных в формуле изобретения. Следует понимать, что как предшествующее общее описание, так и последующее подробное описание являются иллюстративными и пояснительными и не ограничивают изобретение.

Краткое описание чертежей

[0007]

Фиг. 1 представляет собой схему, иллюстрирующую схематический пример конфигурации устройства управления транспортным средством в соответствии с вариантами осуществления;

Фиг. 2 представляет собой пояснительную схему камеры и датчика расстояния, показанных на фиг. 1;

Фиг. 3 представляет собой схематическую пояснительную диаграмму способа распознавания объектов в соответствии с вариантами осуществления;

Фиг. 4A представляет собой блок-схему примера функциональной конфигурации контроллера распознавания объектов по первому варианту осуществления;

Фиг. 4B представляет собой блок-схему примера функциональной конфигурации контроллера распознавания объектов варианта;

Фиг. 5A представляет собой схему, иллюстрирующую пример группы точек возможного объекта, в которую классифицируется группа точек, полученных датчиком расстояния на фиг. 1;

Фиг. 5B представляет собой схему, иллюстрирующую пример обработки прореживания группы точек возможного объекта;

фиг. 5C представляет собой диаграмму, иллюстрирующую пример аппроксимированной кривой, рассчитанной по группе точек возможного объекта;

Фиг. 5D представляет собой схему, иллюстрирующую пример возможных положений границы;

Фиг. 6 представляет собой пояснительную схему примера способа расчета кривизны;

Фиг. 7A представляет собой схему, иллюстрирующую пример захваченного изображения, захваченного камерой на фиг. 1;

Фиг. 7B представляет собой схему, иллюстрирующую пример граничных областей частичной области;

Фиг. 8 представляет собой пояснительную схему примера извлечения группы точек, связанных с пешеходом;

Фиг. 9 представляет собой блок-схему примера способа распознавания объектов по первому варианту осуществления;

Фиг. 10 представляет собой схему, иллюстрирующую пример групп точек, полученных во множестве слоев;

Фиг. 11 представляет собой блок-схему примера функциональной конфигурации контроллера распознавания объектов по второму варианту осуществления;

Фиг. 12А представляет собой схему, иллюстрирующую пример возможных положений границы во множестве слоев;

Фиг. 12B представляет собой пояснительную схему инклюзивных областей, включающих в себя возможные положения границы во множестве слоев;

Фиг. 13 представляет собой пояснительную схему примера извлечения групп точек, связанных с пешеходом;

Фиг. 14 представляет собой блок-схему примера способа распознавания объектов по второму варианту осуществления;

Фиг. 15А представляет собой схему, иллюстрирующую пример аппроксимированных прямых линий, вычисленных на основе возможных положений границы во множестве слоев;

Фиг. 15B представляет собой схему, иллюстрирующую пример центроидов возможных положений границы во множестве слоев;

Фиг. 16А представляет собой пояснительную схему примера плоскостей траекторий, полученных как траектории оптической оси лазерного луча при основном сканировании;

Фиг. 16В представляет собой пояснительную схему другого примера плоскостей траекторий, полученных как траектории оптической оси лазерного луча при основном сканировании; и

Фиг. 16C представляет собой пояснительную схему примера двумерной плоскости, которая не перпендикулярна плоскостям траекторий.

Описание вариантов осуществления

[0008]

Варианты осуществления настоящего изобретения теперь будут описаны со ссылкой на чертежи.

(Первый вариант осуществления)

(Конфигурация)

На собственном транспортном средстве 1 установлено устройство 2 управления транспортным средством согласно варианту осуществления. Устройство 2 управления транспортным средством распознает объект в окружении собственного транспортного средства 1 и управляет движением собственного транспортного средства на основе наличия или отсутствия объекта в окружении собственного транспортного средства 1. Устройство 2 управления транспортным средством является примером «устройства распознавания объектов», описанного в формуле изобретения.

Устройство 2 управления транспортным средством включает в себя датчики 10 объектов, контроллер 11 распознавания объектов, блок 12 управления движением и исполнительные механизмы 13.

[0009]

Датчики 10 объектов представляют собой датчики, выполненные с возможностью обнаружения объектов в окружении собственного транспортного средства 1. Датчики 10 объектов включают в себя камеру 14 и датчик 15 расстояния.

Камера 14 захватывает изображение окружения собственного транспортного средства 1 и формирует захваченное изображение. Теперь обратимся к фиг. 2. Например, камера 14 захватывает изображение объектов 100 и 101 в поле зрения V1 в окружении собственного транспортного средства 1 и формирует захваченное изображение, на котором захвачены объекты 100 и 101.

Здесь предполагается случай, когда объект 100 в окружении собственного транспортного средства 1 является пешеходом, а объект 101 является припаркованным транспортным средством, которое находится в месте, находящемся в непосредственной близости от пешехода 100.

[0010]

Теперь обратимся к фиг. 1. Датчик 15 расстояния, излучая исходящие волны для измерения расстояния до окружения собственного транспортного средства 1 и принимая отраженные волны исходящих волн от поверхностей объектов, обнаруживает положения точек отражения на поверхностях объектов.

Датчик 15 расстояния может быть, например, лазерным радаром, радаром миллиметрового диапазона, а также устройством обнаружения и определения дальности с помощью света или лазерного изображения (LIDAR) или лазерным дальномером (LRF). Следующее описание будет выполнено с использованием примера датчика 15 расстояния, выполненного с возможностью излучения лазерных лучей в качестве исходящих волн для измерения расстояния (дальнометрии).

[0011]

Теперь обратимся к фиг. 2. Датчик 15 расстояния изменяет ось излучения (оптическую ось) лазерного луча в направлении основного сканирования путем изменения угла излучения в горизонтальном направлении в пределах диапазона поиска V2 с фиксированным углом излучения в вертикальном направлении и сканирует окрестности собственного транспортного средства 1 с помощью лазерных лучей. Посредством этой обработки датчик 15 расстояния обнаруживает положения множества точек на поверхностях объектов в диапазоне поиска V2 вдоль направления основного сканирования и получает множество точек как группу точек.

На фиг. 2 отдельные точки, входящие в группу точек, обозначены знаком «х». То же самое относится и к другим чертежам. Отметим, что, поскольку лазерные лучи излучаются с предварительно заданным равноугольным интервалом в направлении основного сканирования, как описано выше, интервалы в направлении основного сканирования между отдельными точками, составляющими группу точек, являются по существу регулярными интервалами.

Кроме того, направление оптической оси лазерного луча, испускаемого датчиком 15 расстояния, то есть направление, указывающее от положения датчика 15 расстояния (то есть положения собственного транспортного средства 1) к каждой точке в группе точек, упоминается как «направление глубины» в последующем описании.

[0012]

Датчик 15 расстояния может выполнять сканирование вдоль одной линии основного сканирования, излучая лазерные лучи только под одним углом излучения в вертикальном направлении, или может выполнять дополнительное сканирование (субсканирование), изменяя угол излучения в вертикальном направлении. Когда выполняется дополнительное сканирование, ось излучения лазерного луча изменяется в направлении основного сканирования при каждом из различных углов излучения в вертикальном направлении путем изменения угла излучения в горизонтальном направлении с углом излучения в вертикальном направлении, зафиксированным для каждого из множества углов в вертикальном направлении.

Область, которая сканируется при основном сканировании под каждым из углов излучения в вертикальном направлении, иногда называют «слоем» или «слоем сканирования».

[0013]

Когда датчик 15 расстояния выполняет сканирование, испуская лазерные лучи под одним углом излучения в вертикальном направлении, сканируется только один слой. Когда датчик 15 расстояния выполняет дополнительное сканирование путем изменения угла излучения в вертикальном направлении, сканируется множество слоев. Положение в вертикальном направлении каждого слоя определяется углом излучения в вертикальном направлении лазерных лучей. Лазерный радар, который сканирует множество слоев, иногда называют «многослойным лазерным радаром» или «лазерным радаром с множеством слоев».

В первом варианте осуществления будет описан случай, когда датчик 15 расстояния сканирует один слой. Случай, когда датчик 15 расстояния сканирует множество слоев, будет описан во втором варианте осуществления.

[0014]

Теперь обратимся к фиг. 1. Контроллер 11 распознавания объектов представляет собой электронный блок управления (ECU), выполненный с возможностью распознавания объектов в окружении собственного транспортного средства 1 на основе результата обнаружения датчиками 10 объектов. Контроллер 11 распознавания объектов включает в себя процессор 16 и его периферийные компоненты. Процессор 16 может быть, например, центральным процессором (CPU) или микропроцессором (MPU).

[0015]

Периферийные компоненты включают в себя запоминающее устройство 17 и т.п. Запоминающее устройство 17 может включать в себя любое полупроводниковое запоминающее устройство, магнитное запоминающее устройство и оптическое запоминающее устройство. Запоминающее устройство 17 может включать в себя регистры, кэш-память или память, используемую в качестве основного запоминающего устройства, такую как постоянное запоминающее устройство (ПЗУ) и оперативное запоминающее устройство (ОЗУ).

Функции контроллера 11 распознавания объектов, которые будут описаны ниже, достигаются, например, за счет выполнения процессором 16 компьютерных программ, хранящихся в запоминающем устройстве 17.

[0016]

Следует отметить, что контроллер 11 распознавания объектов может быть сформирован с использованием специального аппаратного обеспечения для выполнения каждого типа обработки информации, который будет описан ниже.

Например, контроллер 11 распознавания объектов может включать в себя функциональную логическую схему, реализованную в полупроводниковой интегральной схеме общего назначения. Например, контроллер 11 распознавания объектов может включать в себя программируемое логическое устройство (PLD), такое как программируемая пользователем вентильная матрица (FPGA) и т.п.

[0017]

Блок 12 управления движением представляет собой контроллер, выполненный с возможностью управления движением собственного транспортного средства 1. Блок 12 управления движением, приводя в действие исполнительные механизмы 13, на основе результата распознавания объектов в окружении собственного транспортного средства 1, распознанного контроллером 11 распознавания объектов, выполняет по меньшей мере одно из следующих действий: рулевое управление, управление ускорением и управление замедлением собственного транспортного средства 1.

Блок 12 управления движением, например, включает в себя процессор и его периферийные компоненты. Процессор может быть, например, CPU или MPU. Периферийные компоненты включают в себя запоминающее устройство. Запоминающее устройство может включать в себя регистр, кэш-память или память, такую как ПЗУ или ОЗУ, полупроводниковое запоминающее устройство, магнитное запоминающее устройство и оптическое запоминающее устройство. Блок 12 управления движением может быть специализированным аппаратным обеспечением.

[0018]

Исполнительные механизмы (приводы) 13 управляют механизмом рулевого управления, открытием акселератора и тормозным устройством собственного транспортного средства 1 в соответствии с управляющим сигналом от блока 12 управления движением и, таким образом, формируют поведение собственного транспортного средства 1. Исполнительные механизмы 13 включают в себя исполнительный механизм рулевого управления, исполнительный механизм открытия акселератора и исполнительный механизм управления тормозом. Исполнительный механизм рулевого управления управляет направлением рулевого управления и величиной рулевого управления, выполняемого рулевым механизмом собственного транспортного средства 1. Исполнительный механизм открытия акселератора управляет открытием акселератора собственного автомобиля 1. Исполнительный механизм управления тормозом управляет тормозным действием тормозного устройства собственного транспортного средства 1.

[0019]

Далее будет описана обработка распознавания объектов в окружении собственного транспортного средства 1, выполняемая контроллером 11 распознавания объектов.

Контроллер 11 распознавания объектов обнаруживает объект в окружении собственного транспортного средства 1 и распознает тип и атрибут обнаруженного объекта на основании результатов обнаружения камерой 14 и датчиком 15 расстояния, которые установлены в качестве датчиков 10 объектов. Например, контроллер 11 распознавания объектов распознает тип (транспортное средство, пешеход, дорожное сооружение и т.п.) объекта в окружении собственного транспортного средства 1 посредством обработки распознавания изображения на основе захваченного изображения, захваченного камерой 14.

[0020]

Кроме того, например, контроллер 11 распознавания объектов определяет размер и форму объекта в окружении собственного транспортного средства 1 на основе информации о группе точек, полученной датчиком 15 расстояния, и распознает тип (транспортное средство, пешеход, дорожное сооружение и т.п.) объекта в окружении собственного транспортного средства 1 в зависимости от размера и формы.

Однако бывают случаи, когда столбчатую конструкцию, имеющую примерно такой же диаметр, как тело человека (например, столб, установленный между пешеходным переходом и тротуаром) трудно отличить от пешехода только по информации группы точек, полученной датчиком 15 расстояния.

[0021]

Кроме того, только при обработке распознавания изображений на основе захваченного изображения существует вероятность того, что изображение (рисунок или фотография) человека, нарисованного на объекте (например, кузове автобуса или трамвая), или пассажира, находящееся на борту транспортного средства, ложно определяется как пешеход, и, таким образом, существует вероятность того, что такое ложное обнаружение создает проблему для управления движением собственного транспортного средства 1.

Например, существует вероятность того, что, когда предполагается, что скорость пешехода равна нулю при управлении движением с постоянной скоростью и контроле расстояния между транспортными средствами, таком как адаптивный круиз-контроль (ACC), собственное транспортное средство 1 ложно обнаруживает пассажира на борту движущегося впереди транспортного средства или изображение, нарисованное на движущемся впереди транспортном средстве, в качестве пешехода и излишне быстро замедляется.

[0022]

Следовательно, контроллер 11 распознавания объектов в варианте осуществления распознает пешехода, используя информацию о группе точек, полученную датчиком 15 расстояния, и обработку распознавания изображения на основе захваченного изображения, захваченного камерой 14, в совокупности.

Теперь обратимся к фиг. 3. Сначала контроллер 11 распознавания объектов извлекает отдельные объекты посредством группирования (кластеризации) точек, включенных в группу точек, полученных датчиком 15 расстояния, в соответствии со степенью близости, и классифицирует точки в группы точек возможного объекта, каждая из которых является возможным вариантом (кандидатом) группы точек, указывающих на извлеченный объект.

[0023]

В примере на фиг. 3, пешеход 100 существует в месте вблизи припаркованного транспортного средства 101, и группа точек p1-p21 пешехода 100 и припаркованного транспортного средства 101 извлекается как группа точек возможного объекта. Каждая точка, включенная в группу точек p1-p21 возможного объекта, называется «точкой возможного объекта».

Контроллер 11 распознавания объектов извлекает положение, в котором отношение позиционного изменения в направлении глубины (направлении оптической оси лазерного луча) между соседними точками возможного объекта (то есть изменение расстояния от собственного транспортного средства 1 до точек возможного объекта) к позиционному изменению в направлении основного сканирования между соседними точками возможного объекта увеличивается от отношения, равного или меньшего, чем предварительно заданное пороговое значение, до отношения, большего, чем предварительно заданное пороговое значение, в качестве возможного положения границы, которое является возможным вариантом положения границы объекта в направлении основного сканирования, причем положение границы является внешним конечным положением.

Следует отметить, что в лазерном радаре позиционное изменение в направлении основного сканирования (интервал в направлении основного сканирования) между соседними точками возможного объекта представляет собой, по существу, регулярный интервал, как описано выше. Таким образом, отношение изменения расстояния до собственного транспортного средства 1 к изменению положения в направлении основного сканирования между соседними точками возможного объекта изменяется только в зависимости от изменения расстояния от собственного транспортного средства 1. Следовательно, положение, в котором отношение изменения расстояния от собственного транспортного средства 1 к изменению положения в направлении основного сканирования между соседними точками возможного объекта увеличивается от отношения, равного или меньшего, чем предварительно заданное пороговое значение, до отношения, превышающего предварительно заданное пороговое значение, представляет собой положение, в котором изменение расстояния от собственного транспортного средства 1 между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение.

[0024]

В примере на фиг. 3, поскольку точки p7 и p10 возможного объекта являются точками, расположенными на границах между пешеходом 100 и припаркованным транспортным средством 101, точки p7 и p10 возможного объекта имеют сравнительно большие изменения в расстоянии от собственного транспортного средства между соседними точками возможного объекта и извлекаются как возможные положения границы. Кроме того, поскольку точки p1 и p21 возможного объекта являются краями группы точек p1-p21 возможного объекта, точки p1 и p21 возможного объекта извлекаются как возможные положения границы.

С другой стороны, поскольку точки p2-p6, p8, p9 и p11-p20 возможного объекта имеют сравнительно небольшие изменения в расстоянии от собственного транспортного средства между соседними точками возможного объекта, точки p2-p6, p8, p9, и p11-p20 возможного объекта не извлекаются как возможные положения границы.

[0025]

Затем контроллер 11 распознавания объектов, выполняя обработку распознавания изображений на захваченном изображении, захваченном камерой 14, извлекает частичную область R, в которой обнаружен человек, в захваченном изображении. Стоит отметить, что примеры способа извлечения в захваченном изображении частичной области R, в которой обнаружен человек, включают в себя способ распознавания непрерывного составного элемента в лице, распознаваемом с помощью общеизвестного распознавания лиц, способ сохранения шаблонов общих форм людей и распознавания человека с помощью сопоставления с шаблоном, а также упрощенный способ распознавания человека, основанный на результате обнаружения, что соотношение сторон объекта на захваченном изображении находится в диапазоне соотношений сторон людей, и можно обнаружить человека, применив такой известный способ, и извлечь область, включающую обнаруженного человека, в качестве частичной области R.

Когда на захваченном изображении положение возможного положения границы совпадает с положением границы между частичной областью R и другой областью в направлении основного сканирования, контроллер 11 распознавания объектов распознает, что пешеход находится в частичной области R. Контроллер 11 распознавания объектов распознает точки возможного объекта, расположенные внутри частичной области R, как пешехода. Следует отметить, что в дальнейшем положение границы между частичной областью R и другой областью в направлении основного сканирования в захваченном изображении просто упоминается как положение границы частичной области R.

[0026]

В примере на фиг. 3, положения возможных положений границы p7 и p10 совпадают с положениями границы частичной области R. Следовательно, контроллер 11 распознавания объектов распознает, что пешеход 100 существует в частичной области R, и распознает точки p7-p10 возможного объекта, находящиеся внутри частичной области R, как пешехода.

При такой конфигурации контроллер 11 распознавания объектов может определить, существует ли твердый объект в частичной области R, в которой человек обнаружен посредством обработки распознавания изображения, и, когда твердый объект существует в частичной области R, распознать твердый объект как пешехода. Эта возможность позволяет точно определить, является ли группа точек, обнаруженных датчиком 15 расстояния, пешеходом. Кроме того, можно предотвратить ложное определение изображения человека, нарисованного на объекте, или пассажира в транспортном средстве как пешехода. Следовательно, можно повысить точность обнаружения пешехода 100, находящегося в окружении собственного транспортного средства 1.

[0027]

Далее пример функциональной конфигурации контроллера 11 распознавания объектов будет подробно описан со ссылкой на фиг. 4А. Контроллер 11 распознавания объектов включает в себя блок 20 извлечения группы точек возможного объекта, блок 21 извлечения возможного положения границы, блок 22 извлечения частичной области, блок 23 сравнения и блок 24 распознавания объектов.

Группа точек, полученных датчиком 15 расстояния, вводится в блок 20 извлечения группы точек возможного объекта. Кроме того, захваченное изображение, сгенерированное камерой 14, вводится в блок 22 извлечения частичной области.

[0028]

Следует отметить, что устройство 2 управления транспортным средством может включать в себя стереокамеру 18 вместо датчика 15 расстояния и камеры 14.

Теперь обратимся к фиг. 4B. Стереокамера 18 формирует изображение параллакса из множества изображений, захваченных множеством камер, и, получая из изображения параллакса пиксели, которые расположены в линию в предварительно заданном направлении основного сканирования, получает группу точек, указывающих множество положений на поверхностях объектов в окружении собственного транспортного средства 1.

Стереокамера 18 вводит полученную группу точек в блок 20 извлечения группы точек возможного объекта. В дополнение к вышесказанному, стереокамера 18 вводит любое одно из множества изображений, захваченных множеством камер, в блок 22 извлечения частичной области в качестве захваченного изображения окружения собственного транспортного средства.

[0029]

Теперь обратимся к фиг. 4А. Блок 20 извлечения группы точек возможного объекта извлекает отдельные объекты путем группирования группы точек, полученных от датчика 15 расстояния, в соответствии со степенью близости и классифицирует точки в группы точек возможного объекта, каждая из которых является возможным вариантом группы точек, указывающих на извлеченный объект. Блок 20 извлечения группы точек возможного объекта может использовать систему координат r-Θ или систему координат XYZ с датчиком 15 расстояния, принятым в качестве источника для вычисления степеней близости.

На фиг. 5А проиллюстрирован пример группы точек возможного объекта. Метки «x» на чертеже иллюстрируют отдельные точки возможного объекта, включенные в группу точек возможного объекта. В примере на фиг. 5А, пешеход 100 находится в месте, находящемся поблизости от припаркованного транспортного средства 101, и набор точек возможного объекта для пешехода 100 и припаркованного транспортного средства 101 извлекается как группа точек возможного объекта.

[0030]

Блок 21 извлечения возможного положения границы извлекает возможный вариант положения границы (то есть возможное положение границы) объекта из группы точек возможного объекта, извлеченных блоком 20 извлечения группы точек возможного объекта.

Теперь обратимся к фиг. 5B. Во-первых, блок 21 извлечения возможного положения границы путем прореживания группы точек возможного объекта, извлеченных блоком 20 извлечения группы точек возможного объекта, уменьшает количество точек возможного объекта, включенных в группу точек возможного объекта, и упрощает группу точек возможного объекта. Блок 21 извлечения возможного положения границы может проредить группу точек возможного объекта, используя существующий способ, такой как метод воксельной сетки и метод двумерной сетки. Прореживание группы точек возможного объекта позволяет уменьшить вычислительную нагрузку при последующей обработке. Однако, когда исходная группа точек возможного объекта не является плотной и нет необходимости снижать нагрузку обработки, группа точек возможного объекта может использоваться без прореживания.

[0031]

Затем блок 21 извлечения возможного положения границы извлекает из группы точек возможного объекта после прореживания, как описано выше, положение, в котором позиционное изменение в направлении глубины (направлении оптической оси лазерного луча) между соседними точками возможного объекта в направлении основного сканирования, то есть изменение расстояния от собственного транспортного средства 1 между точками возможного объекта, увеличивается от значения, равного или меньше предварительно определенного порогового значения, до значения, превышающего предварительно определенное пороговое значение, как возможное положение границы, которое является возможным вариантом положения границы объекта. Следует отметить, что предварительно заданное пороговое значение является пороговым значением, которое имеет достаточную величину, чтобы обеспечить возможность извлечения положения границы объекта, и которое определяется заранее посредством эксперимента или подобного.

В частности, блок 21 извлечения возможного положения границы вычисляет аппроксимированную (приблизительную) кривую L посредством аппроксимации группы точек возможного объекта, которая была упрощена, кривой, как показано на фиг. 5С. В качестве способа расчета аппроксимированной кривой L могут быть использованы различные виды существующих способов. Кроме того, например, аппроксимированную кривую L можно интерпретировать как совокупность коротких отрезков (то есть последовательность точек). Когда группа точек является разреженной, аппроксимированная кривая L может быть сгенерирована путем последовательного соединения точек возможного объекта друг с другом от конечной точки.

[0032]

Блок 21 извлечения возможного положения границы вычисляет кривизну ρ аппроксимированной кривой L в каждой из точек возможного объекта. Блок 21 извлечения возможного положения границы извлекает положение, в котором кривизна ρ превышает предварительно заданное пороговое значение, в качестве возможного положения границы. Блок 21 извлечения возможного положения границы извлекает положения точек p1, p2 и p3 возможного объекта, в которых кривизна ρ превышает предварительно заданное пороговое значение, в качестве возможных положений границы, как показано на фиг. 5D. Кроме того, блок 21 извлечения возможного положения границы извлекает положения точек p4 и p5 возможного объекта, которые расположены на краях группы точек возможного объекта, в качестве возможных положений границы.

[0033]

То есть на фиг. 5D, относительно точки p1 возможного объекта и точки p1-1 возможного объекта, которые являются соседними точками возможного объекта, существует небольшая разница в расстояниях от собственного транспортного средства 1 (изменение расстояния) между точками возможного объекта. Таким образом, изменение расстояния между точкой р1 возможного объекта и точкой р1-1 возможного объекта равно или меньше предварительно определенного порогового значения. С другой стороны, поскольку изменение расстояния между точкой p1 возможного объекта и точкой p1-2 возможного объекта, которые являются соседними точками возможного объекта, велико, изменение расстояния между точками возможного объекта превышает предварительно заданное пороговое значение. Следовательно, точка p1 возможного объекта, представляющая собой положение, в котором изменение расстояния между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, извлекается как возможное положение границы. Стоит отметить, что точка p3 возможного объекта также извлекается в качестве возможного положения границы аналогичным образом.

Кроме того, поскольку по отношению к соседней точке p2 возможного объекта и точке p2-2 возможного объекта существует небольшое изменение расстояния между точками возможного объекта, изменение расстояния между точками возможного объекта равно или меньше чем предварительно заданное пороговое значение. С другой стороны, поскольку изменение расстояния между соседней точкой p2-1 возможного объекта и точкой p2 возможного объекта велико, изменение расстояния между точками возможного объекта превышает предварительно заданное пороговое значение. Следовательно, точка p2 возможного объекта, представляющая собой положение, в котором изменение расстояния между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, извлекается как возможное положение границы.

[0034]

В настоящем варианте осуществления, чтобы упростить обработку извлечения возможного положения границы, как описано выше, аппроксимированная кривая L вычисляется путем аппроксимации группы точек возможного объекта посредством кривой, и возможное положение границы извлекается на основе того, является ли кривизна ρ аппроксимированной кривой L в каждой из точек возможного объекта равной или большей, чем предварительно заданная кривизна. То есть, используя характеристики, что кривизна ρ аппроксимированной кривой становится большой в положении, в котором изменение расстояния между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, выполняется извлечение возможного положения границы с использованием аппроксимированной кривой L. Следует отметить, что предварительно заданная кривизна представляет собой кривизну, которая устанавливается соответствующим образом вышеописанному заданному пороговому значению для изменения расстояния. Следующее описание будет сделано при предположении, что в настоящем варианте осуществления возможное положение границы извлекается с использованием кривизны аппроксимированной кривой L, аппроксимирующей группу точек возможного объекта посредством кривой.

[0035]

Например, блок 21 извлечения возможного положения границы может вычислять кривизну ρ аппроксимированной кривой L следующим образом. Теперь обратимся к фиг. 6. Точка возможного объекта, на которую обращают внимание, обозначается pc, а точки возможного объекта, расположенные рядом друг с другом, с расположенной между ними точкой возможного объекта pc, обозначаются pa и pb. Когда предполагается, что длины противоположных сторон вершин pa, pb и pc треугольника с точкой возможного объекта pa, pb и pc в качестве вершин равны a, b и c соответственно, радиус R окружности, описанной около треугольника можно рассчитать по приведенной ниже формуле.

R=abc/((a+b+c)(b+c-a)(c+a-b)(a+b-c))^1/2

Кривизна ρ в точке возможного объекта pc вычисляется как величина, обратная радиусу R (ρ=1/R).

[0036]

Блок 21 извлечения возможного положения границы может вычислить вектор нормали аппроксимированной кривой L в каждой из точек возможного объекта вместо кривизны ρ. Блок 21 извлечения возможного положения границы может извлекать положение, в котором величина изменения направления вектора нормали превышает предварительно заданное значение, в качестве возможного положения границы.

Теперь обратимся к фиг. 4А. Блок 22 извлечения частичной области выполняет обработку распознавания изображения на захваченном изображении, захваченном камерой 14, и распознает человека, захваченного в захваченном изображении. Блок 22 извлечения частичной области извлекает частичную область R, в которой человек обнаружен, посредством обработки распознавания изображения.

[0037]

На фиг. 7A проиллюстрирован пример захваченного изображения, захваченного камерой 14. Блок 22 извлечения частичной области, например, извлекает прямоугольную область, включающую распознанного человека (пешехода 100), в качестве частичной области R.

Кроме того, например, блок 22 извлечения частичной области может извлекать совокупность пикселей, которые занимает обнаруженный человек, то есть пиксели, которым присвоен атрибут, указывающий на человека, в качестве частичной области R. В этом случае, блок 22 извлечения частичной области вычисляет контурную линию, охватывающую эти пиксели.

[0038]

Теперь обратимся к фиг. 4А. Блок 23 сравнения проецирует возможные положения границы p1-p5, которые извлек блок 21 извлечения возможного положения границы, в систему координат изображения захваченного изображения, захваченного камерой 14, на основе монтажных положений и позы камеры 14 и датчика 15 расстояния и внутренних параметров (угол обзора и т.п.) камеры 14. То есть блок 23 сравнения преобразует координаты возможных положений границы p1-p5 в координаты в системе координат изображения.

Блок 23 сравнения определяет, совпадает ли положение любого из возможных положений границы p1-p5 в направлении основного сканирования с одним из положений границы частичной области R в изображении (в системе координат изображения).

[0039]

Блок 23 сравнения определяет, совпадает ли положение возможного положения границы с положением границы частичной области R, используя, например, следующий способ. Теперь обратимся к фиг. 7B.

Блок 23 сравнения устанавливает граничные области r1 и r2, которые включают в себя граничные линии b1 и b2, пересекающие направление основного сканирования, среди граничных линий частичной области R соответственно.

[0040]

Теперь предполагается, что частичная область R представляет собой прямоугольник, и из четырех сторон прямоугольника пара сторон, пересекающих направление основного сканирования, представляет собой граничные линии b1 и b2, а другие стороны являются граничными линиями b3 и b4.

Блок 23 сравнения может, например, установить область шириной w с граничной линией b1 в качестве центральной оси в качестве граничной области r1 и задать область шириной w с граничной линией b2 в качестве центральной оси в качестве граничной области r2.

Блок 23 сравнения может установить граничные области r1 и r2 таким образом, что сумма ширины w граничной области r1 и ширины w граничной области r2 будет, например, равна ширине W (длине граничной линии b3 или b4) частичной области R. В этом случае граничная область r1 является областью, которая получается путем смещения частичной области R на W/2 в направлении влево на фиг. 7B, а граничная область r2 представляет собой область, которая получается путем смещения частичной области R на W/2 в направлении вправо на фиг. 7B.

[0041]

В качестве альтернативы блок 23 сравнения может, например, разделить частичную область R линией, соединяющей центр граничной линии b3 и центр граничной линии b4, и установить область со стороны граничной линии b1 в качестве граничной области r1 и установить область со стороны граничной линии b2 в качестве граничной области r2. В этом случае граничная область r1 является левой половиной частичной области R на фиг. 7B, а граничная область r2 представляет собой правую половину частичной области R на фиг. 7B.

[0042]

Когда любое из возможных положений границы включено в каждую из граничных областей r1 и r2, блок 23 сравнения определяет, что возможные положения границы совпадают с положениями границы частичной области R. В этом случае блок 23 сравнения распознает что пешеход существует в частичной области R.

С другой стороны, когда ни одно возможное положение границы не включено в обе из граничных областей r1 и r2, или когда ни одно возможное положение границы не включено в одну из граничных областей r1 и r2, блок 23 сравнения определяет, что возможные положения границы не совпадают с положениями границы частичной области R. В этом случае блок 23 сравнения распознает, что в частичной области R нет пешеходов.

[0043]

Когда блок 23 сравнения распознает, что пешеход существует в частичной области R, блок 24 распознавания объектов проецирует группу точек возможного объекта, извлеченную блоком 20 извлечения группы точек возможного объекта (то есть группу точек возможного объекта до прореживания) в систему координат захваченного изображения.

Блок 24 распознавания объектов извлекает группу точек возможного объекта, включенных в частичную область R, как показано на фиг. 8, и распознает группу точек возможного объекта как группу точек, связанных с пешеходом 100. Блок 24 распознавания объектов вычисляет форму, такую как круг, прямоугольник, куб и цилиндр, которые включают в себя извлеченную группу точек, и распознает вычисленную форму как пешехода 100. Блок 24 распознавания объектов выводит результат распознавания в блок 12 управления движением.

[0044]

Когда блок 24 распознавания объектов распознает пешехода 100, блок 12 управления движением определяет, пересекается ли запланированный маршрут движения собственного транспортного средства 1 с пешеходом 100. Когда запланированный путь движения собственного транспортного средства 1 пересекается с пешеходом 100, блок 12 управления движением, приводя в действие исполнительные механизмы 13, управляет по меньшей мере одним из следующего: направление рулевого управления или величина поворота рулевого механизма, открытие акселератора и тормозное усилие тормозного устройства собственного транспортного средства 1 таким образом, чтобы собственное транспортное средство 1 двигалось, минуя пешехода 100.

[0045]

(Работа)

Далее будет описан пример работы устройства 2 управления транспортным средством в первом варианте осуществления со ссылкой на фиг. 9.

На этапе S1 датчик 15 расстояния обнаруживает множество положений на поверхностях объектов в окружении собственного транспортного средства 1 в предварительно заданном направлении и получает группу точек.

На этапе S2 блок 20 извлечения группы точек возможного объекта группирует точки в группе точек, полученных от датчика 15 расстояния, и классифицирует точки в группы точек возможного объекта.

[0046]

На этапе S3 блок 21 извлечения возможного положения границы посредством прореживания группы точек возможного объекта, извлеченных блоком 20 извлечения группы точек возможного объекта, упрощает группу точек возможного объекта. Блок 21 извлечения возможного положения границы вычисляет аппроксимированную кривую посредством аппроксимации упрощенной группы точек возможного объекта посредством кривой.

На этапе S4 блок 21 извлечения возможного положения границы вычисляет кривизну ρ аппроксимированной кривой в каждой из точек возможного объекта. Блок 21 извлечения возможного положения границы определяет, существует ли положение, в котором кривизна ρ превышает предварительно заданную кривизну. Когда существует положение, в котором кривизна ρ превышает предварительно заданную кривизну (этап S4: Y), процесс переходит к этапу S5. Когда не существует положения, в котором кривизна ρ превышает предварительно заданную кривизну (этап S4: N) процесс переходит к этапу S11.

[0047]

На этапе S5 блок 21 извлечения возможного положения границы извлекает положение, в котором кривизна ρ превышает предварительно заданную кривизну, в качестве возможного положения границы.

На этапе S6 блок 22 извлечения частичной области выполняет обработку распознавания изображения на захваченном изображении, захваченном камерой 14, и извлекает частичную область, в которой обнаружен человек, в захваченном изображении.

На этапе S7 блок 23 сравнения проецирует возможные положения границы, которые были извлечены блоком 21 извлечения возможного положения границы, в систему координат изображения захваченного изображения, захваченного камерой 14.

[0048]

На этапе S8 блок 23 сравнения определяет, совпадает ли возможное положение границы с положением границы частичной области в направлении основного сканирования в системе координат изображения. Когда возможное положение границы совпадает с положением границы частичной области (этап S8: Y), блок 23 сравнения распознает, что пешеход находится в частичной области, и вызывает переход процесса к этапу S9. Когда ни одно возможное положение границы не совпадает с положением границы частичной области (этап S8: N), блок 23 сравнения распознает, что в частичной области нет пешеходов, и вызывает переход процесса к этапу S11.

На этапе S9 блок 24 распознавания объектов проецирует группу точек возможного объекта, извлеченную блоком 20 извлечения группы точек возможного объекта, в систему координат захваченного изображения.

[0049]

На этапе S10 блок 24 распознавания объектов вырезает группу точек возможного объекта, включенных в частичную область, и распознает группу точек возможного объекта как пешехода 100.

На этапе S11 контроллер 11 распознавания объектов определяет, выключено ли зажигание (IGN) собственного транспортного средства 1. Когда зажигание не выключено (этап S11: N) процесс возвращается к этапу S1. Когда зажигание выключено (этап S11: Y) процесс завершается.

[0050]

(Благоприятные эффекты первого варианта осуществления)

(1) Датчик 15 расстояния обнаруживает множество положений на поверхностях объектов в окружении собственного транспортного средства 1 вдоль предварительно заданного направления основного сканирования и получает группу точек. Камера 14 формирует захваченное изображение окружения собственного транспортного средства 1. Блок 20 извлечения группы точек возможного объекта группирует точки в полученной группе точек и классифицирует точки в группы точек возможного объекта. Блок 21 извлечения возможного положения границы извлекает из числа точек, включенных в группу точек возможного объекта, положение, в котором изменение расстояния от собственного транспортного средства 1 между соседними точками возможного объекта в направлении основного сканирования увеличивается от значения равного или меньшего, чем предварительно определенное пороговое значение, до значения, превышающего предварительно определенное пороговое значение, в качестве возможного положения границы, которое является возможным вариантом положения границы объекта в направлении основного сканирования, при этом положение границы является внешним конечным положением. Блок 22 извлечения частичной области извлекает частичную область, в которой человек обнаружен на захваченном изображении, в захваченном изображении посредством обработки распознавания изображения. Когда на захваченном изображении возможное положение границы совпадает с положением границы частичной области, блок 23 сравнения распознает, что пешеход находится в частичной области.

[0051]

Эта конфигурация позволяет определить, существует ли твердый объект в частичной области, в которой человек обнаружен посредством обработки распознавания изображения, и, когда твердый объект существует в частичной области, распознать твердый объект как пешехода. Эта возможность позволяет точно определить, является ли группа точек, обнаруженных датчиком 15 расстояния, пешеходом. Кроме того, можно предотвратить ложное определение изображения человека, нарисованного на объекте, или пассажира на борту транспортного средства как пешехода. Следовательно, можно повысить точность обнаружения пешехода, находящегося в окружении собственного транспортного средства.

[0052]

(2) Когда положение возможного положения границы совпадает с положением границы частичной области, блок 24 распознавания объектов может распознать в качестве пешехода группу точек, расположенных в частичной области, среди группы точек возможного объекта, спроецированных в систему координат захваченного изображения.

Когда группа точек, соответствующих пешеходу, вероятно, должна быть включена в сгруппированную группу точек возможного объекта, эта конфигурация позволяет вырезать группу точек.

[0053]

(3) Блок 21 извлечения возможного положения границы может извлекать положение, в котором кривизна аппроксимированной кривой, вычисленной из группы точек возможного объекта, превышает предварительно заданное значение в качестве возможного положения границы.

Обнаружение положения, в котором кривизна аппроксимированной кривой группы точек возможного объекта становится большой, как описано выше, позволяет обнаруживать положение границы объекта с высокой точностью.

[0054]

(4) Датчик 15 расстояния может быть датчиком, который излучает исходящие волны для определения дальности и сканирует окружение собственного транспортного средства 1 в направлении основного сканирования. Эта конфигурация позволяет с высокой точностью определять положение объекта в окружении собственного транспортного средства 1.

(5) Датчик 15 расстояния может получать группу точек путем сканирования окружения собственного транспортного средства 1 в направлении основного сканирования исходящими волнами относительно каждого слоя, который определяется в соответствии с углом излучения в вертикальном направлении исходящих волн для определения дальности. Блок 21 извлечения возможного положения границы может извлекать возможное положение границы путем вычисления аппроксимированной кривой по отношению к каждому слою. Эта конфигурация позволяет извлекать возможное положение границы по отношению к каждому слою.

[0055]

(6) Устройство 2 управления транспортным средством может включать в себя стереокамеру 18 в качестве составного элемента, который имеет функцию, эквивалентную функции комбинации датчика 15 расстояния и камеры 14. Стереокамера 18 формирует стереоизображения окружения собственного транспортного средства 1 и определяет положения на поверхностях объектов в окружении собственного транспортного средства 1 в виде группы точек из сформированных стереоизображений.

Эта конфигурация позволяет получить как группу точек, так и захваченное изображение только стереокамерой 18 без установки датчика расстояния, использующего исходящие волны для определения дальности. Также можно предотвратить позиционную ошибку между группой точек и захваченным изображением, которая зависит от точности привязки датчика 15 расстояния и камеры 14.

[0056]

(Второй вариант осуществления)

Далее будет описан второй вариант осуществления. Датчик 15 расстояния по второму варианту осуществления выполняет дополнительное сканирование путем изменения угла излучения в вертикальном направлении лазерного луча и сканирует множество слоев, углы излучения которых в вертикальном направлении отличаются друг от друга.

Теперь обратимся к фиг. 10. Датчик 15 расстояния сканирует объекты 100 и 101 в окружении собственного транспортного средства 1 по четырем линиям основного сканирования и получает группу точек в каждом из четырех слоев SL1, SL2, SL3 и SL4.

[0057]

Теперь обратимся к фиг. 11. Контроллер 11 распознавания объектов по второму варианту осуществления имеет конфигурацию, аналогичную конфигурации контроллера 11 распознавания объектов по первому варианту осуществления, которая была описана со ссылкой на фиг. 4А, и описания тех же функций будут опущены. Контроллер 11 распознавания объектов второго варианта осуществления включает в себя блок 25 вычисления возможной границы.

Следует отметить, что во втором варианте осуществления стереокамера 18 также может использоваться вместо датчика 15 расстояния и камеры 14, как и в первом варианте осуществления.

[0058]

Блок 20 извлечения группы точек возможного объекта классифицирует группу точек, полученных из одного из множества слоев SL1-SL4, в группы точек возможного объекта по отношению к каждому слою посредством обработки, аналогичной обработке в первом варианте осуществления.

Блок 21 извлечения возможного положения границы извлекает возможное положение границы по отношению к каждому слою посредством обработки, аналогичной обработке в первом варианте осуществления.

Теперь обратимся к фиг. 12А. Например, блок 21 извлечения возможного положения границы извлекает возможные положения границы p11-p15 в слое SL1, возможные положения границы p21-p25 в слое SL2, возможные положения границы p31-p35 в слое SL3 и возможные положения границы p41-p45 в слое SL4.

[0059]

Теперь обратимся к фиг. 11. Блок 25 вычисления возможной границы путем группирования возможных положений границы во множестве слоев в соответствии со степенью близости классифицирует возможные положения границы в группы возможных положений границы. То есть блок 25 вычисления возможной границы определяет, что возможные положения границы, которые находятся в непосредственной близости друг от друга во множестве слоев, являются положениями границы, обнаруженной во множестве слоев, и классифицирует возможные положения границы в идентичной группе возможных положений границы.

В частности, блок 25 вычисления возможной границы вычисляет интервалы между возможными положениями границы в слоях, соседних друг с другом, среди возможных положений границы во множестве слоев и классифицирует возможные положения границы, имеющие более короткие интервалы, чем предварительно заданное значение, в той же группе возможных положений границы.

[0060]

Теперь обратимся к фиг. 12А. Поскольку возможные положения границы p11 и p21 в слоях SL1 и SL2, которые являются соседними друг с другом, находятся в непосредственной близости друг от друга и имеют более короткий интервал, чем предварительно заданное значение, блок 25 вычисления возможной границы классифицирует p11 и p21 в идентичной группе gb1 возможных положений границы. Кроме того, поскольку возможные положения границы p21 и p31 в слоях SL2 и SL3, которые являются соседними друг с другом, находятся в непосредственной близости друг от друга и имеют более короткий интервал, чем предварительно заданное значение, блок 25 вычисления возможной границы также классифицирует возможное положение границы p31 в группе gb1 возможных положений границы. Кроме того, поскольку возможные положения границы p31 и p41 в слоях SL3 и SL4, которые являются соседними друг с другом, находятся в непосредственной близости друг от друга и имеют более короткий интервал, чем предварительно заданное значение, блок 25 вычисления возможной границы также классифицирует возможное положение границы p41 в группе gb1 возможных положений границы.

[0061]

Таким образом, блок 25 вычисления возможной границы классифицирует возможные положения границы p11, p21, p31 и p41 в идентичной группе gb1 возможных положений границы.

Аналогичным образом блок 25 вычисления возможной границы классифицирует возможные положения границы p12, p22, p32 и p42 в идентичной группе gb2 возможных положений границы. Блок 25 вычисления возможной границы классифицирует возможные положения границы p13, p23, p33 и p43 в идентичной группе gb3 возможных положений границы. Блок 25 вычисления возможной границы классифицирует возможные положения границы p14, p24, p34 и p44 в идентичной группе gb4 возможных положений границы. Блок 25 вычисления возможной границы классифицирует возможные положения границы p15, p25, p35 и p45 в идентичной группе gb5 возможных положений границы.

[0062]

Блок 25 вычисления возможной границы вычисляет столбчатые инклюзивные области, каждая из которых включает в себя одну из групп возможных положений границы, в качестве возможных вариантов границ объекта.

Теперь обратимся к фиг. 12B. Блок 25 вычисления возможной границы соответственно вычисляет столбчатые инклюзивные области rc1, rc2, rc3, rc4 и rc5, которые включают в себя группы gb1, gb2, gb3, gb4 и gb5 возможных положений границы, соответственно. Формы инклюзивных областей rc1-rc5 не обязательно должны быть круглыми столбцами, и блок 25 вычисления возможной границы может вычислять столбчатую инклюзивную область, имеющую соответствующую форму, такую как треугольная призма и четырехугольная призма.

[0063]

Теперь обратимся к фиг. 11. Блок 23 сравнения проецирует инклюзивные области, которые вычислил блок 25 вычисления возможной границы, в систему координат захваченного изображения, захваченного камерой 14. Блок 23 сравнения определяет, перекрывается ли какая-либо из инклюзивных областей rc1-rc5 с одной из граничных областей r1 и r2 частичной области R.

Когда каждая из граничных областей r1 и r2 перекрывает любую из инклюзивных областей rc1-rc5, блок 23 сравнения распознает, что пешеход находится в частичной области R. С другой стороны, когда ни граничная область r1, ни r2 не перекрываются с любой из инклюзивных областей rc1-rc5, или когда какая-либо из граничных областей r1 и r2 не перекрывается с любой из инклюзивных областей rc1-rc5, блок 23 сравнения распознает, что в частичной области R нет пешеходов.

[0064]

Когда блок 23 сравнения распознает, что пешеход существует в частичной области R, блок 24 распознавания объектов проецирует группы точек возможного объекта во множестве слоев, извлеченных блоком 20 извлечения группы точек возможного объекта (то есть, группы точек возможного объекта до прореживания) в систему координат захваченного изображения.

Блок 24 распознавания объектов извлекает группы точек возможного объекта во множестве слоев, включенных в частичную область R, как показано на фиг. 13, и распознает группы точек возможного объекта как группу точек, связанных с пешеходом 100. Блок 24 распознавания объектов вычисляет форму, такую как круг, прямоугольник, куб и цилиндр, которая включает в себя извлеченную группу точек, и распознает вычисленную форму как пешехода 100. Блок 24 распознавания объектов выводит результат распознавания в блок 12 управления движением.

[0065]

(Работа)

Далее будет описан пример работы устройства 2 управления транспортным средством во втором варианте осуществления со ссылкой на фиг. 14. На этапе S21 датчик 15 расстояния сканирует множество слоев, которые имеют разные углы излучения в вертикальном направлении, и получает группу точек в каждом из множества слоев.

На этапе S22 блок 20 извлечения группы точек возможного объекта классифицирует группу точек, полученных из одного из множества слоев, в группы точек возможного объекта по отношению к каждому слою.

[0066]

На этапе S23 блок 21 извлечения возможного положения границы вычисляет аппроксимированную кривую группы точек возможного объекта по отношению к каждому слою.

На этапе S24 блок 21 извлечения возможного положения границы вычисляет кривизну ρ аппроксимированной кривой. Блок 21 извлечения возможного положения границы определяет, существует ли положение, в котором кривизна ρ превышает предварительно заданное значение. Когда существует положение, в котором кривизна ρ превышает предварительно заданное значение (этап S24: Y), процесс переходит к этапу S25. Когда не существует положения, в котором кривизна ρ превышает предварительно заданное значение (этап S24: N) процесс переходит к этапу S31.

[0067]

На этапе S25 блок 21 извлечения возможного положения границы извлекает возможное положение границы относительно каждого слоя. Блок 25 вычисления возможной границы путем группирования возможных положений границы во множестве слоев в соответствии со степенью близости классифицирует возможные положения границы в группы возможных положений границы. Блок 25 вычисления возможной границы вычисляет столбчатые инклюзивные области, каждая из которых включает в себя одну из групп возможных положений границы, в качестве возможных вариантов границ объекта.

Обработка на этапе S26 аналогична обработке на этапе S6, которая была описана со ссылкой на фиг. 9.

[0068]

На этапе S27 блок 23 сравнения проецирует инклюзивные области, которые вычислил блок 25 вычисления возможной границы, в систему координат захваченного изображения, захваченного камерой 14.

На этапе S28 блок 23 сравнения определяет, перекрывает ли инклюзивная область граничную область частичной области. Когда инклюзивная область перекрывает граничную область частичной области (этап S28: Y), блок 23 сравнения распознает, что пешеход находится в частичной области, и вызывает переход процесса к этапу S29. Когда никакая инклюзивная область не перекрывает граничную область частичной области (этап S28: N), блок 23 сравнения распознает, что в частичной области нет пешеходов, и вызывает переход процесса к этапу S31.

Обработка на этапах S29-S31 аналогична обработке на этапах S9-S11, которая была описана со ссылкой на фиг. 9.

[0069]

(Вариации второго варианта осуществления)

(1) Теперь обратимся к фиг. 15А. Блок 25 вычисления возможной границы может вычислять аппроксимированные прямые линии L1-L5 групп gb1-gb5 возможных положений границы вместо инклюзивных областей rc1-rc5. Блок 23 сравнения проецирует аппроксимированные прямые линии L1-L5, которые вычислил блок 25 вычисления возможной границы, в систему координат захваченного изображения, захваченного камерой 14. Блок 23 сравнения определяет, совпадает ли какая-либо из аппроксимированных прямых линий L1-L5 с одним из положений границы частичной области R.

[0070]

Когда любая из аппроксимированных прямых линий L1-L5 включена в каждую из граничных областей r1 и r2 частичной области R, блок 23 сравнения определяет, что положения аппроксимированных прямых линий совпадают с положениями границы частичной области R. В этом случае блок 23 сравнения распознает, что пешеход находится в частичной области R.

С другой стороны, когда ни одна из аппроксимированных прямых линий L1-L5 не входит в обе из граничных областей r1 и r2 или когда ни одна из аппроксимированных прямых линий L1-L5 не входит в одну из граничных областей r1 и r2, блок 23 сравнения определяет, что положения аппроксимированных прямых линий не совпадают с положениями границы частичной области R. В этом случае блок 23 сравнения распознает, что в частичной области R нет пешеходов.

[0071]

(2) Теперь обратимся к фиг. 15B. Блок 25 вычисления возможной границы может вычислять центроиды g1-g5 групп gb1-gb5 возможных положений границы вместо инклюзивных областей rc1-rc5. Блок 23 сравнения проецирует центроиды g1-g5, которые вычислил блок 25 вычисления возможной границы, в систему координат захваченного изображения, захваченного камерой 14. Блок 23 сравнения определяет, совпадает ли какой-либо из центроидов g1-g5 с одним из положений границы частичной области R.

[0072]

Когда любой из центроидов g1-g5 включен в каждую из граничных областей r1 и r2 частичной области R, блок 23 сравнения определяет, что положения центроидов совпадают с положениями границы частичной области R. В этом случае, блок 23 сравнения распознает, что пешеход находится в частичной области R.

С другой стороны, когда ни один из центроидов g1-g5 не входит в обе из граничных областей r1 и r2 или когда ни один из центроидов g1-g5 не входит в одну из граничных областей r1 и r2, блок сравнения 23 определяет, что положения центроидов не совпадают с положениями границы частичной области R. В этом случае блок 23 сравнения распознает, что в частичной области R нет пешеходов.

[0073]

(3) Теперь обратимся к фиг. 16А, 16В и 16С. Блок 21 извлечения возможного положения границы может извлекать возможное положение границы путем проецирования групп точек возможного объекта во множестве слоев SL1-SL4 на идентичную двумерную плоскость pp и вычисления аппроксимированной кривой из групп точек возможного объекта, проецированных на двумерную плоскость рр. Эта конфигурация позволяет обрабатывать возможные положения границы аналогично первому варианту осуществления, в котором сканируется один слой, и уменьшить объем вычислений. Также возможно исключить блок 25 вычисления возможной границы.

[0074]

В этом варианте, когда плоскость, перпендикулярная направлению оптической оси лазерного луча, задается как двумерная плоскость pp, проецируются точки, имеющие разные значения координат в направлении глубины (направлении оптической оси лазерного луча), на те же координаты в двумерной плоскости pp и информация о положении в направлении глубины групп точек возможного объекта исчезает, что делает невозможным вычисление кривизны ρ. Поэтому желательно задать двумерную плоскость pp, как описано ниже.

[0075]

Плоскости pl1 и pl3 на фиг. 16A представляют собой плоскости траекторий, полученные как траектории оптической оси лазерного луча при сканировании в направлении основного сканирования в слоях SL1 и SL3 соответственно. Плоскости pl2 и pl4 на фиг. 16В представляют собой плоскости траекторий, полученные как траектории оптической оси лазерного луча при сканировании в направлении основного сканирования в слоях SL2 и SL4 соответственно.

Двумерная плоскость pp предпочтительно устанавливается таким образом, чтобы не быть перпендикулярной плоскостям траекторий pl1-pl4. Двумерная плоскость pp более предпочтительно устанавливается таким образом, чтобы быть по существу параллельной плоскостям траекторий pl1-pl4.

[0076]

(4) Может быть задано множество двумерных плоскостей, на которые проецируются группы точек возможного объекта во множестве слоев, и группы точек возможного объекта, которые имеют разную высоту, могут быть проецированы на разные двумерные плоскости.

Например, множество диапазонов высот, таких как первый диапазон высот, который включает в себя группы точек возможного объекта в слоях SL1 и SL2, и второй диапазон высот, который включает в себя группы точек возможного объекта в слоях SL3 и SL4 на фиг. 16А и 16В, могут быть установлены.

Блок 21 извлечения возможного положения границы может проецировать группы точек возможного объекта в первом диапазоне высот на идентичную двумерную плоскость и проецировать группы точек возможного объекта во втором диапазоне высот на идентичную двумерную плоскость, и тем самым проецируют группы точек возможного объекта в первом диапазоне высот и группы точек возможного объекта во втором диапазоне высот на разные двумерные плоскости.

[0077]

(Благоприятные эффекты второго варианта осуществления)

(1) Датчик 15 расстояния может получать группу точек путем сканирования окружения собственного транспортного средства 1 в предварительно заданном направлении исходящими волнами относительно каждого из множества слоев, которые имеют разные углы излучения в вертикальном направлении исходящих волн для определения дальности. Блок 21 извлечения возможного положения границы может извлекать возможное положение границы путем проецирования групп точек возможного объекта во множестве слоев на идентичную двумерную плоскость pp и вычисления аппроксимированной кривой из групп точек возможного объекта, спроецированных на двумерную плоскость рр. Двумерная плоскость pp предпочтительно устанавливается таким образом, чтобы не быть перпендикулярной плоскостям pl1-pl4, которые получаются как траектории оси излучения исходящих волн при сканировании в направлении основного сканирования.

Проецирование групп точек возможного объекта во множестве слоев на идентичную двумерную плоскость pp, как описано выше, позволяет сократить объем вычислений аппроксимированных кривых.

[0078]

(2) Может быть установлено множество диапазонов высот, и группы точек возможного объекта, которые имеют разную высоту, могут быть проецированы на разные двумерные плоскости. Например, группы точек возможного объекта в идентичном диапазоне высот могут быть проецированы на идентичную двухмерную плоскость, а группы точек возможного объекта в разных диапазонах высот могут быть проецированы на разные двумерные плоскости.

Когда в случае, когда задано большое количество слоев, группы точек во всех слоях проецируются на идентичную двумерную плоскость, разброс координат, спроецированных на двумерную плоскость, становится большим, и аппроксимированная кривая сглаживается. Таким образом, выполнение аппроксимации кривой путем проецирования групп точек возможного объекта на другую двумерную плоскость относительно каждого из регулярно расположенных диапазонов высот позволяет подавить сглаживание аппроксимированной кривой.

[0079]

(3) Блок 25 вычисления возможной границы может классифицировать возможные положения границы в группы возможных положений границы путем группирования соседних возможных положений границы и вычисления центроидов групп возможных положений границы. Когда положение центроида совпадает с положением границы частичной области, блок 23 сравнения может распознать, что пешеход находится в частичной области.

Эта конфигурация позволяет сократить объем вычислений, необходимых для сравнения между возможными положениями границы, обнаруженными во множестве слоев, и положениями границы частичной области.

[0080]

(4) Блок 25 вычисления возможной границы может классифицировать возможные положения границы в группы возможных положений границы путем группирования соседних возможных положений границы и вычисления аппроксимированных прямых линий из групп возможных положений границы. Когда положение аппроксимированной прямой линии совпадает с положением границы частичной области, блок 23 сравнения может распознать, что пешеход находится в частичной области.

Эта конфигурация позволяет сократить объем вычислений, необходимых для сравнения между возможными положениями границы, обнаруженными во множестве слоев, и положениями границы частичной области.

[0081]

(5) Блок 25 вычисления возможной границы может классифицировать возможные положения границы в группы возможных положений границы путем группирования соседних возможных положений границы и вычисления инклюзивных областей, которые соответственно являются областями, включающими в себя группы возможных положений границы. Когда инклюзивная область перекрывает граничную область частичной области, блок 23 сравнения может распознать, что пешеход находится в частичной области.

Эта конфигурация позволяет сократить объем вычислений, необходимых для сравнения между возможными положениями границы, обнаруженными во множестве слоев, и положениями границы частичной области.

[0082]

Все примеры и условные формулировки, представленные в данном документе, предназначены для педагогических целей, чтобы помочь читателю понять изобретение и концепции, внесенные изобретателем в развитие данной области техники, и они не должны рассматриваться как ограничения такими конкретно перечисленными примерами и условиями, а организация таких примеров в описании не связана с демонстрацией превосходства или неполноценности данного изобретения. Хотя один или несколько вариантов осуществления настоящего изобретения были описаны подробно, следует понимать, что в изобретение могут быть внесены различные изменения, замены и модификации, не выходящие за рамки сущности и объема данного изобретения.

Список позиционных обозначений

[0083]

1 собственное транспортное средство

2 устройство управления транспортным средством

10 датчик объектов

11 контроллер распознавания объектов

12 блок управления движением

13 исполнительный механизм

14 камера

15 датчик расстояния

16 процессор

17 запоминающее устройство

18 стереокамера

20 блок извлечения группы точек возможного объекта

21 блок извлечения возможного положения границы

22 блок извлечения частичной области

23 блок сравнения

24 блок распознавания объектов

25 блок вычисления возможной границы

Изобретение относится к способу распознавания объектов и устройству распознавания объектов. Способ распознавания объектов включает в себя обнаружение множества положений на поверхностях объектов в окружении собственного транспортного средства вдоль предварительно заданного направления и получение группы точек; формирование захваченного изображения окружения собственного транспортного средства; группирование точек, включенных в полученную группу точек, и классифицирование точек в группу точек возможного объекта. Затем осуществляется извлечение из числа точек возможного объекта, причем точки возможного объекта являются точками, включенными в группу точек возможного объекта, положения, в котором изменение расстояния от собственного транспортного средства между соседними точками возможного объекта увеличивается от значения, равного или меньшего чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, в качестве возможного положения границы. Возможное положение границы представляет собой внешнее конечное положение объекта, извлечение области, в которой человек обнаружен на захваченном изображении, в качестве частичной области посредством обработки распознавания изображения и когда в захваченном изображении положение возможного положения границы совпадает с положением границы частичной области, при этом положение границы является внешним конечным положением в заданном направлении, распознавание, что пешеход присутствует в частичной области. Технический результат - повышение точности обнаружения пешехода, находящегося в окружении собственного транспортного средства. 2 н. и 9 з.п. ф-лы, 25 ил.

1. Способ распознавания объектов, включающий в себя этапы, на которых:

обнаруживают (S1) множество положений на поверхностях объектов в окружении собственного транспортного средства вдоль предварительно заданного направления и получают группу точек;

формируют захваченное изображение окружения собственного транспортного средства;

группируют (S2) точки, включенные в полученную группу точек, и классифицируют точки в группу точек возможного объекта;

извлекают (S5) из числа точек возможного объекта, причем точки возможного объекта являются точками, включенными в группу точек возможного объекта, положение, в котором изменение расстояния от собственного транспортного средства между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, в качестве возможного положения границы, причем упомянутое возможное положение границы представляет собой внешнее конечное положение объекта;

извлекают (S6) область, в которой человек обнаружен на захваченном изображении, в качестве частичной области посредством обработки распознавания изображения;

определяют (S8), совпадает ли на захваченном изображении положение возможного положения границы в предварительно заданном направлении с положением границы частичной области, причем положение границы представляет собой внешнее конечное положение;

когда положение возможного положения границы совпадает с положением границы частичной области, распознают (S10), что пешеход находится в частичной области; и

когда положение возможного положения границы совпадает с положением границы частичной области, распознают в качестве пешехода группу точек, расположенных в частичной области, среди группы точек возможного объекта, спроецированных в систему координат захваченного изображения.

2. Способ распознавания объектов по п. 1, причем способ дополнительно включает в себя этап, на котором извлекают положение, в котором кривизна аппроксимированной кривой, вычисленной из группы точек возможного объекта, превышает предварительно заданное значение, в качестве возможного положения границы.

3. Способ распознавания объектов по п. 2, причем

способ дополнительно включает в себя этап, на котором получают группу точек путем сканирования окружения собственного транспортного средства в предварительно заданном направлении исходящими волнами для определения дальности относительно каждого из слоев, определенных в соответствии с углами излучения в вертикальном направлении исходящих волн, и

способ дополнительно включает в себя этап, на котором вычисляют аппроксимированную кривую и извлекают возможное положение границы по отношению к каждому из слоев.

4. Способ распознавания объектов по п. 2, причем

способ дополнительно включает в себя этап, на котором получают группу точек путем сканирования окружения собственного транспортного средства в предварительно заданном направлении исходящими волнами для определения дальности относительно каждого из множества слоев, имеющих разные углы излучения в вертикальном направлении исходящих волн,

способ дополнительно включает в себя этап, на котором извлекают возможное положение границы путем проецирования групп точек возможного объекта во множестве слоев на идентичную двумерную плоскость и вычисления аппроксимированной кривой из групп точек возможного объекта, спроецированных на двумерную плоскость, и

двумерная плоскость представляет собой плоскость, не перпендикулярную плоскости, полученной как траектория оси излучения исходящих волн при сканировании в предварительно заданном направлении.

5. Способ распознавания объектов по п. 4, причем

способ дополнительно включает в себя этап, на котором устанавливают множество диапазонов высот, и

способ дополнительно включает в себя этап, на котором проецируют группу точек возможного объекта в идентичном диапазоне высот на идентичную двумерную плоскость и проецируют группы точек возможного объекта в разных диапазонах высот на разные двумерные плоскости.

6. Способ распознавания объектов по любому из пп. 1-5, включающий в себя этапы, на которых:

группируют соседние возможные положения границы и классифицируют возможные положения границы в группу возможных положений границы; и

вычисляют центроид группы возможных положений границы,

при этом, когда положение центроида совпадает с положением границы частичной области, способ дополнительно включает в себя этап, на котором распознают, что пешеход находится в частичной области.

7. Способ распознавания объектов по любому из пп. 1-5, включающий в себя этапы, на которых:

группируют соседние возможные положения границы и классифицируют возможные положения границы в группу возможных положений границы; и

вычисляют аппроксимированную прямую линию из группы возможных положений границы,

при этом, когда положение аппроксимированной прямой линии совпадает с положением границы частичной области, способ дополнительно включает в себя этап, на котором распознают, что пешеход находится в частичной области.

8. Способ распознавания объектов по любому из пп. 1-5, включающий в себя этапы, на которых:

группируют соседние возможные положения границы и классифицируют возможные положения границы в группу возможных положений границы; и

вычисляют инклюзивную область, причем инклюзивная область представляет собой область, включающую в себя группу возможных положений границы,

при этом, когда инклюзивная область перекрывает граничную область частичной области, способ дополнительно включает в себя этап, на котором распознают, что пешеход находится в частичной области.

9. Устройство (2) распознавания объектов, содержащее:

датчик (15), выполненный с возможностью обнаруживать множество положений на поверхностях объектов в окружении собственного транспортного средства вдоль предварительно заданного направления и получать группу точек;

камеру (14), выполненную с возможностью формировать захваченное изображение окружения собственного транспортного средства; и

контроллер (11), выполненный с возможностью группировать точки, включенные в полученную группу точек, и классифицировать точки в группу точек возможного объекта, извлекать из числа точек возможного объекта, причем точки возможного объекта являются точками, включенными в группу точек возможного объекта, положение, при котором изменение расстояния от собственного транспортного средства между соседними точками возможного объекта увеличивается от значения, равного или меньшего, чем предварительно заданное пороговое значение, до значения, превышающего предварительно заданное пороговое значение, в качестве возможного положения границы, причем упомянутое возможное положение границы является внешним конечным положением объекта, извлекать область, в которой человек обнаружен на захваченном изображении, как частичную область с помощью обработки распознавания изображения, определять, совпадает ли на захваченном изображении положение возможного положения границы в предварительно заданном направлении с положением границы частичной области, причем положение границы представляет собой внешнее конечное положение; когда положение возможного положения границы совпадает с положением границы частичной области, распознавать, что пешеход находится в частичной области, и, когда положение возможного положения границы совпадает с положением границы частичной области, распознавать в качестве пешехода группу точек, расположенных в частичной области, среди группы точек возможного объекта, спроецированных в систему координат захваченного изображения.

10. Устройство распознавания объектов по п. 9, причем датчик представляет собой датчик расстояния, выполненный с возможностью излучения исходящих волн для определения дальности и сканирования окружения собственного транспортного средства в предварительно заданном направлении.

11. Устройство распознавания объектов по п. 9, в котором датчик и камера представляют собой стереокамеру, выполненную с возможностью формировать стереоизображение окружения собственного транспортного средства и определять положения на поверхностях объектов в окружении собственного транспортного средства в виде группы точек из стереоизображения.