УСТРОЙСТВО РАСПОЗНАВАНИЯ СВЕТОФОРА И СПОСОБ РАСПОЗНАВАНИЯ СВЕТОФОРА Российский патент 2017 года по МПК G08G1/09 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству распознавания светофора и способу распознавания светофора.

УРОВЕНЬ ТЕХНИКИ

[0002] Традиционно известное устройство распознавания окружения транспортного средства распознает светофор или знак остановки в изображении, полученном посредством формирования изображения сцены впереди транспортного средства в направлении его движения (патентный документ 1). Когда существует множество светофоров или знаков остановки в изображении, патентный документ 1 определяет порядок, в котором светофоры или знаки остановки размещаются в направлении движения транспортного средства, и управляет состояниями движения транспортного средства согласно светофору или знаку остановки, который располагается наиболее близко к транспортному средству.

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Публикация японской патентной заявки № 2007-257299

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] При выборе, из множества светофоров, светофора, на основе которого управление движением должно выполняться, патентный документ 1 принимает во внимание расстояние от транспортного средства до светофора, но не принимает во внимание вероятность загораживания светофора в зоне видимости. Светофор, в некоторых случаях, скрыт или невидим из транспортного средства вследствие фактора, неопознаваемого из картографической информации, такого как движущееся впереди транспортное средство, уличное дерево или дорожные работы.

[0005] Настоящее изобретение было реализовано, принимая во внимание вышеописанную проблему, и имеет задачей предоставление устройства распознавания светофора и способа распознавания светофора, которые могут улучшать вероятность обнаружения светофора, когда прогнозируется захват в изображении двух или более светофоров.

РЕШЕНИЕ ЗАДАЧИ

[0006] Устройство распознавания светофора согласно аспекту настоящего изобретения получает изображение посредством формирования изображения окружения транспортного средства, обнаруживает собственную позицию транспортного средства и обнаруживает, в изображении, светофор около транспортного средства. Устройство распознавания светофора идентифицирует два или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, на основе собственной позиции и картографической информации, содержащей позиционную информацию по светофорам, и назначает уровень приоритета каждому из двух или более светофоров, идентифицированных таким образом, на основе вероятности загораживания светофора в зоне видимости. Когда два или более светофоров идентифицируются, светофор, который должен быть обнаружен в изображении, является светофором с наивысшим уровнем приоритета среди двух или более светофоров.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Фиг. 1 – это блок-схема, показывающая информацию, вводимую в и выводимую из устройства 100 распознавания светофора согласно варианту осуществления.

Фиг. 2 – это блок-схема, показывающая конфигурацию устройства 100 распознавания светофора согласно первому варианту осуществления и потоку данных в нем.

Фиг. 3 – это блок-схема, показывающая конфигурацию модуля 14 задания области обнаружения на фиг. 2 и потока данных в нем.

Фиг. 4 – это вид с высоты птичьего полета, показывающий пример назначения уровня приоритета посредством модуля 24 назначения уровня приоритета на фиг. 3.

Фиг. 5 – это блок-схема последовательности операций, показывающая пример способа распознавания светофора с помощью устройства 100 распознавания светофора.

Фиг. 6 – это блок-схема последовательности операций, показывающая подробную процедуру этапа S13 на фиг. 5 в первом варианте осуществления.

Фиг. 7 – это блок-схема последовательности операций, показывающая подробную процедуру этапа S13 на фиг. 5 во втором варианте осуществления.

Фиг. 8 – это блок-схема, показывающая конфигурацию модуля 24b назначения уровня приоритета согласно третьему варианту осуществления.

Фиг. 9 – это вид с высоты птичьего полета, показывающий пример назначения уровня приоритета посредством модуля 24b назначения уровня приоритета на фиг. 8.

Фиг. 10 – это блок-схема, показывающая конфигурацию модуля 24c назначения уровня приоритета согласно четвертому варианту осуществления.

Фиг. 11 – это блок-схема последовательности операций, показывающая подробную процедуру этапа S07 на фиг. 5 в четвертом варианте осуществления.

Фиг. 12 – это вид с высоты птичьего полета, показывающий пример назначения уровня приоритета посредством модуля 24c назначения уровня приоритета на фиг. 10.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0008] Ниже в данном документе варианты осуществления настоящего изобретения описываются на основе чертежей. Одинаковые компоненты обозначаются одинаковыми ссылочными номерами, чтобы избегать повторяющегося описания.

[ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

Со ссылкой на фиг. 1 приводится описание информации, вводимой в и выводимой из устройства 100 распознавания светофора согласно варианту осуществления. Устройство 100 распознавания светофора распознает светофор, который находится рядом с дорогой, по которой транспортное средство движется, в изображении, захваченном посредством модуля формирования изображения (камеры), установленного в транспортном средстве.

[0009] Устройство 100 распознавания светофора принимает ввод картографической информации D02, информации D01 ориентиров местности и информации D03 камеры. Картографическая информация D02 содержит позиционную информацию о светофорах, в которой позиции в фактическом окружении и позиции на карте ассоциированы друг с другом заранее. Информация D01 ориентиров местности используется, чтобы вычислять собственную позицию транспортного средства в фактическом окружении. Ориентиры на местности включают в себя характерный объект на земле (наземные ориентиры) и спутник системы глобального позиционирования (GPS), который передает GPS-сигналы, принимаемые транспортным средством. В варианте осуществления наземный ориентир используется в качестве примера. Информация D01 ориентиров местности содержит, например, позиционную информацию о наземных ориентирах. Информация D03 камеры используется, чтобы получать изображение окружения (например, впереди) транспортного средства от модуля формирования изображения. На основе этих частей информации D01-D03 устройство 100 распознавания светофора выводит результат распознавания светофора в качестве информации D04 о светофоре.

[0010] Со ссылкой на фиг. 2 описываются конфигурация устройства 100 распознавания светофора согласно первому варианту осуществления и поток данных в нем. Устройство 100 распознавания светофора включает в себя модуль 11 формирования изображения, модуль 12 обнаружения собственной позиции, модуль 13 оценки позиции светофора, модуль 14 задания области обнаружения и модуль 15 обнаружения светофора.

[0011] Модуль 11 формирования изображения устанавливается в транспортном средстве и получает изображение посредством формирования изображения окружения транспортного средства. Модуль 11 формирования изображения является камерой, включающей в себя твердотельный элемент захвата изображения, например, CCD и CMOS, и получает изображение, по которому обработка изображения может быть выполнена. Модуль 11 формирования изображения задает угол обзора своей линзы и вертикальный и горизонтальный углы камеры на основе информации D03 камеры и выводит полученное изображение в качестве данных D08 изображения.

[0012] Модуль 12 обнаружения собственной позиции обнаруживает собственную позицию транспортного средства на основе информации D01 ориентиров местности. Информация D01 ориентиров местности указывает, например, относительную позицию наземного ориентира (магазина, достопримечательности или места осмотра достопримечательности), обнаруженного посредством датчика, такого как камера в транспортном средстве или лазерный радар, относительно транспортного средства. В картографической информации D02 позиционная информация о наземном ориентире предварительно зарегистрирована. Модуль 12 обнаружения собственной позиции может обнаруживать собственную позицию транспортного средства, сверяя информацию D01 ориентиров местности и относительную позиционную информацию о наземном ориентире друг с другом. В данном документе "позиция" включает в себя координаты и угловую ориентацию. Более конкретно, позиция наземного ориентира включает в себя координаты и угловую ориентацию наземного ориентира, а позиция транспортного средства включает в себя координаты и угловую ориентацию транспортного средства. В качестве информации D05 о собственной позиции модуль 12 обнаружения собственной позиции выводит координаты (x, y, z), представленные в опорной системе координат, и компоненты угловой ориентации (наклон относительно поперечной оси, поворот относительно вертикальной оси и наклон относительно продольной оси) в направлении поворота соответствующих осей координат.

[0013] Например, модуль 12 обнаружения собственной позиции обнаруживает первоначальную позицию транспортного средства с помощью информации D01 ориентиров местности. Первоначальная позиция является позицией транспортного средства, т.е. его координатами и угловой ориентацией, которая может быть непосредственно получена из информации D01 ориентиров местности. Затем модуль 12 обнаружения собственной позиции добавляет интервал перемещения транспортного средства к первоначальной позиции, чтобы, тем самым, вычислять собственную позицию транспортного средства 51. Модуль 12 обнаружения собственной позиции может оценивать интервал перемещения транспортного средства, т.е. величину изменения в координатах и угловой ориентации, в единицу времени с помощью одометра, радара, гироскопического датчика, датчика скорости поворота вокруг вертикальной оси и датчика угла поворота рулевого колеса.

[0014] Модуль 13 оценки позиции светофора оценивает относительную позицию светофора относительно транспортного средства на основе картографической информации D02 и информации D05 о собственной позиции. В картографической информации D02 позиционная информация (информация о координатах) о светофоре предварительно зарегистрирована. Модуль 13 оценки позиции светофора может получать относительные координаты светофора относительно транспортного средства из координат светофора и координат и угловой ориентации транспортного средства. Модуль 13 оценки позиции светофора выводит оцененные относительные координаты светофора в качестве информации D06 об относительной позиции. Отметим, что светофор, оцененный посредством модуля 13 оценки позиции светофора, является светофором, который представляет сигнал транспортному средству.

[0015] Модуль 14 задания области обнаружения задает область обнаружения для светофора в изображении на основе относительной позиции светофора. Поскольку модуль 11 формирования изображения прикреплен к транспортному средству, позиция в изображении, в которой светофор вероятно должен быть захвачен, может быть точно определена в изображении, когда угол обзора и направление формирования изображения модуля 11 формирования изображения определены. На основе этой позиции в изображении модуль 14 задания области обнаружения определяет область обнаружения для светофора в изображении.

[0016] Модуль 15 обнаружения светофора, когда существует два или более светофоров, обнаруживает светофор, имеющий наивысший уровень приоритета среди двух или более светофоров из изображения. В частности, модуль 15 обнаружения светофора выполняет обработку изображения для обнаружения светофора по данным D08 изображения в области обнаружения, заданной для светофора, имеющего наивысший уровень приоритета. Способ обработки изображения не ограничивается. Например, свет светофора в светофоре может быть обнаружен с помощью обработки синхронного обнаружения на основе чередующего цикла подач питания от сети общего пользования или с помощью обработки определения цветового оттенка и сходства формы. Другая известная обработка изображения может также быть использована для обнаружения светофора. Выполнение обработки изображения не по всем данным D08 изображения, а только по их части (области обнаружения) снижает нагрузку обработки информации для обнаружения светофора, предоставляя возможность быстрого обнаружения светофора. Модуль 15 обнаружения светофора выводит результат обнаружения светофора в качестве информации D04 о светофоре.

[0017] Модуль 12 обнаружения собственной позиции, модуль 13 оценки позиции светофора, модуль 14 задания области обнаружения и модуль 15 обнаружения светофора могут быть реализованы посредством микроконтроллера, имеющего CPU, память и блок ввода и вывода. В частности, CPU выполняет предварительно установленные компьютерные программы, чтобы реализовывать множество информационных процессоров (12-15) в микроконтроллере. Часть памяти в микроконтроллере формирует картографическую базу данных, сохраняющую картографическую информацию D02. Микроконтроллер может быть использован также в качестве ECU, используемого для других управлений транспортным средством (например, автоматического управления движением).

[0018] Со ссылкой на фиг. 3 описываются конфигурация модуля 14 задания области обнаружения на фиг. 2 и поток данных в нем. Модуль 14 задания области обнаружения включает в себя модуль 23 идентификации светофора, модуль 24 назначения уровня приоритета и модуль 25 определения области.

[0019] Модуль 23 идентификации светофора идентифицирует два или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, на основе относительных координат светофоров (информации D06 об относительной позиции). Поскольку угол обзора и вертикальное и горизонтальное направления для изображения могут быть указаны на основе информации D03 камеры, модуль 23 идентификации светофора может идентифицировать светофоры, которые попадают в кадр изображения. Однако светофоры, идентифицированные посредством модуля 23 идентификации светофора, включают в себя светофор, который находится в кадре изображения, но не захватывается в изображении, поскольку видимость светофора загораживается вследствие фактора, неопознаваемого из картографической информации, как будет описано позже.

[0020] Модуль 24 назначения уровня приоритета назначает уровни приоритета двум или более светофорам, содержащимся в картографической информации D02 и идентифицированным посредством модуля 23 идентификации светофора, назначение основывается на вероятностях загораживания светофоров в зоне видимости. Светофоры отличаются по вероятности их захвата в изображении, т.е. вероятности загораживания в зоне видимости препятствием, находящимся около транспортного средства, в зависимости от позиций светофоров относительно дороги и позиций светофоров относительно транспортного средства. Подробности этого будут приведены позже со ссылкой на фиг. 4. По вышеописанной причине, когда два или более светофоров, как прогнозируется, должны быть захвачены в изображении, модуль 24 назначения уровня приоритета назначает уровни приоритета двум или более светофорам.

[0021] Модуль 25 определения области задает область обнаружения для каждого из светофоров в изображении. Когда угол обзора и направление формирования изображения модуля 11 формирования изображения определены, позиция светофора, который, как прогнозируется, должен быть захвачен, может быть идентифицирована на изображении на основе относительных координат светофора (информации D06 об относительной позиции). Модуль 25 определения области преобразует относительные координаты светофора в координаты на изображении, в котором светофор был захвачен. В частности, модуль 25 определения области принимает ввод информации D06 об относительной позиции и выполняет, на основе оптической системы линзы в модуле 11 формирования изображения, преобразование координат из координат светофора в трехмерной системе координат (x, y, z) в координаты на изображении в двухмерной системе координат (x1, y1). Способ преобразования координат не ограничивается, и любой известный способ может быть использован. Модуль 25 определения области задает предварительно определенную область, содержащую преобразованные координаты на изображении (x1, y1), в качестве области обнаружения для светофора на изображении.

[0022] Как описано, модуль 14 задания области обнаружения идентифицирует два или более светофоров, которые попадают в кадр изображения, назначает уровни приоритета светофорам, идентифицированным таким образом, и задает область обнаружения для каждого из идентифицированных светофоров.

[0023] Со ссылкой на фиг. 4 описывается пример назначения уровня приоритета посредством модуля 24 назначения уровня приоритета. В этом примере, на перекрестке Crs, модуль 23 идентификации светофора идентифицирует три светофора (Ts1, Ts2, Ts3), которым должно подчиняться транспортное средство 51, движущееся по дороге RD. В этом примере перекресток Crs является первым перекрестком, который должно пересечь транспортное средство 51. Ясно, что модуль 23 идентификации светофора может идентифицировать светофоры на втором, третьем и т.д. перекрестках, которые должны быть пересечены транспортным средством 51 после пересечения перекрестка Crs.

[0024] На основе позиционной информации по светофорам, содержащейся в картографической информации D02, модуль 23 идентификации светофора идентифицирует, что светофор Ts1 находится рядом с встречной полосой (PL), а светофоры Ts2 и Ts3 находятся рядом с текущей полосой (WL). Кроме того, модуль 23 идентификации светофора идентифицирует, что светофор Ts2 находится на ближней стороне перекрестка Crs и что светофор Ts3 находится на дальней стороне перекрестка Crs.

[0025] Модуль 24 назначения уровня приоритета назначает уровни приоритета трем светофорам (Ts1, Ts2, Ts3) в соответствии с базовыми правилами (R1) и (R2), приведенными ниже.

[0026] (R1) Назначается более высокий уровень приоритета светофору, находящемуся рядом с встречной полосой (PL), чем светофору, находящемуся рядом с текущей полосой (WL) движения транспортного средства 51.

[0027] (R2) Назначается более высокий уровень приоритета светофору, близкому к транспортному средству 51, чем светофору, отдаленному от транспортного средства 51.

[0028] Базовое правило (R1) определяется на основе следующей причины. Вероятность загораживания в зоне видимости вследствие фактора, неопознаваемого из картографической информации, такого как движущийся впереди автомобиль, уличное дерево, растущее на обочине дороги, или дорожные работы, выше для светофора, находящегося на текущей полосе (WL), чем для светофора, находящегося на встречной полосе (PL). Хотя встречное транспортное средство может загораживать светофор, находящийся на встречной полосе (PL), период времени такого загораживания является лишь коротким промежутком времени, когда встречное транспортное средство проезжает светофор. С другой стороны, когда светофор, находящийся на текущей полосе (WL), загораживается в зоне видимости вследствие фактора, неопознаваемого из картографической информации, период времени такого загораживания дольше, чем период времени для светофора, находящегося на встречной полосе (PL). Например, когда транспортное средство следует за крупногабаритным транспортным средством, светофор, находящийся на текущей полосе (WL), загораживается в зоне видимости крупногабаритным транспортным средством в течение длительного периода времени. По этой причине более высокий уровень приоритета назначается светофору, находящемуся на встречной полосе (PL), чем светофору, находящемуся на текущей полосе (WL) движения транспортного средства. Это предоставляет возможность предпочтительного обнаружения светофора, который менее вероятно будет загорожен в зоне видимости или вероятно будет загорожен в зоне видимости только в течение короткого периода времени.

[0029] Базовое правило (R2) определяется на основе следующей причины. Когда множество светофоров, находящихся на одной и той же полосе (текущей полосе WL или встречной полосе PL), видны из транспортного средства, светофор, близкий к транспортному средству, может распознаваться более устойчиво, чем светофор, отдаленный от транспортного средства, поскольку близкий светофор имеет меньшую вероятность загораживания в зоне видимости и изображается в большем размере, чем дальний светофор.

[0030] Согласно базовым правилам (R1) и (R2) уровнями приоритета трех светофоров (Ts1, Ts2, Ts3) на фиг. 4 являются, от наивысшего к низшему, светофор Ts1, светофор Ts2 и светофор Ts3.

[0031] В некоторых случаях модуль 23 идентификации светофора идентифицирует светофор для заблаговременного предупреждения в качестве любого из двух или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении. Обычно светофор для заблаговременного предупреждения предоставляется, чтобы обеспечивать уведомление о дорожных условиях или состоянии светофора заранее. Таким образом, даже в позиции, где регулярный светофор может быть загорожен в зоне видимости, светофор для заблаговременного предупреждения менее вероятно должен быть загорожен в зоне видимости. По этой причине модуль 24 назначения уровня приоритета назначает более высокий уровень приоритета светофору для заблаговременного предупреждения, чем другим светофорам. Это предоставляет возможность даже более раннего обнаружения светофора.

[0032] Хотя три светофора идентифицируются на перекрестке Crs в варианте осуществления, модуль 24 назначения уровня приоритета может, конечно, назначать уровни приоритета двум, четырем или более светофорам в соответствии с вышеупомянутыми правилами (R1) и (R2). Дополнительно следует отметить, что светофоры не ограничиваются светофорами, находящихся на перекрестке, но включают в себя все светофоры, которым необходимо подчиняться на дороге, по которой транспортное средство движется, такие как, например, светофор для пешеходного перехода на дороге RD.

[0033] Со ссылкой на фиг. 5 описывается пример способа распознавания светофора с помощью устройства 100 распознавания светофора. Блок-схема последовательности операций, показанная на фиг. 5, повторяется с предварительно определенным периодом.

[0034] Сначала, на этапе S01, модуль 11 формирования изображения получает изображение, формируя изображение окружения транспортного средства 51 на основе информации D03 камеры. На этапе S03 модуль 12 обнаружения собственной позиции обнаруживает собственную позицию транспортного средства 51 с помощью информации D01 ориентиров местности и выводит обнаруженную собственную позицию в качестве информации D05 о собственной позиции.

[0035] На этапе S05 модуль 13 оценки позиции светофора оценивает относительные позиции светофоров относительно транспортного средства 51 на основе картографической информации D02 и информации D05 о собственной позиции.

[0036] На этапе S07 модуль 23 идентификации светофора идентифицирует два или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, на основе относительных координат светофоров (информации D06 об относительной позиции). Затем модуль 24 назначения уровня приоритета назначает уровни приоритета двум или более светофорам, идентифицированным посредством модуля 23 идентификации светофора, на основе вероятностей загораживания светофоров в зоне видимости. Эти вероятности могут получаться из позиционной информации по светофорам, которая содержится в картографической информации D02. В частности, модуль 24 назначения уровня приоритета назначает уровни приоритета двум или более светофорам в соответствии с базовыми правилами (R1) и (R2).

[0037] На этапе S09 модуль 25 определения области преобразует относительные координаты (x, y, z) каждого светофора в координаты на изображении (x1, y1) и определяет координаты центра области обнаружения на основе координат на изображении. Область обнаружения имеет предварительно определенный размер и форму. Область обнаружения, таким образом, определяется для каждого из двух или более светофоров (этап S11).

[0038] На этапе S13 модуль 15 обнаружения светофора выполняет обработку изображения для обнаружения светофора по данным D08 изображения в области обнаружения, согласно назначенным уровням приоритета, если существует два или более светофоров.

[0039] Со ссылкой на фиг. 6 описывается подробная процедура этапа S13 на фиг. 5. Последующее описание предполагает, что N светофоров было идентифицировано на этапе S07 на фиг. 5. Сначала, на этапе S21, извлекаются данные изображения в областях обнаружения для соответствующих N светофоров. На этапе S23 уровни (i) приоритета, назначенные светофорам на этапе S07 на фиг. 5, отображаются на извлеченные области обнаружения. Отметим, что "i" является целым числом от 1 до N и i=1 при первоначальной установке.

[0040] На этапе S25 выполняется попытка обнаружения светофора, начиная с области обнаружения, соответствующей светофору с наивысшим (i=1) уровнем приоритета среди N светофоров. Когда светофор успешно обнаруживается (Да на этапе S25), блок-схема последовательности операций переходит к этапу S27, чтобы выводить информацию D04 о светофоре. После этого, без изменения уровня приоритета (этап S29), блок-схема последовательности операций возвращается к этапу S25. Это предоставляет возможность непрерывного обнаружения светофора в той же области обнаружения, когда светофор успешно обнаруживается (Да на этапе S25).

[0041] Когда обнаружение светофора является неуспешным (Нет на этапе S25), с другой стороны, блок-схема последовательности операций переходит к этапу S31, чтобы определять, равен ли N текущий уровень (i) приоритета, т.е. является ли текущий уровень (i) приоритета низшим уровнем. Когда текущий уровень (i) приоритета не равен N (Нет на этапе S31), все еще существует область обнаружения, для которой все еще должна выполняться попытка обнаружения. Затем текущий уровень (i) приоритета прирастает на единицу (этап S35), т.е. текущий уровень приоритета понижается на один, и блок-схема последовательности операций возвращается к этапу S25. Когда текущий уровень (i) приоритета равен N (Да на этапе S31), с другой стороны, это означает, что попытка обнаружения была выполнена для всех областей обнаружения. Затем после задания наивысшего уровня приоритета в качестве текущего уровня (i) приоритета снова (этап S33), блок-схема последовательности операций возвращается к этапу S25.

[0042] Первый вариант осуществления, описанный выше, обеспечивает следующие полезные результаты.

[0043] Светофор, в некоторых случаях, скрыт или невидим из транспортного средства вследствие фактора, неопознаваемого из картографической информации, такого как движущееся впереди транспортное средство, уличное дерево или дорожные работы. Кроме того, в зависимости от позиций светофоров относительно дороги, светофоры отличаются по своей вероятности захвата в изображении, т.е. вероятности загораживания в зоне видимости препятствием около транспортного средства. Принимая во внимание такие обстоятельства, когда прогнозируется на основе картографической информации D02 и информации D05 о собственной позиции, что два или более светофоров могут быть захвачены в изображении, двум или более светофорам назначаются уровни (i) приоритета. Затем обнаружение в изображении начинается с светофора, имеющего наивысший уровень (i) приоритета. Это увеличивает вероятность обнаружения светофора, когда прогнозируется, что два или более светофоров могут быть захвачены в изображении. Кроме того, раннее обнаружение светофора, также как и уменьшение вычислительной нагрузки могут быть достигнуты.

[0044] Как описано относительно базового правила (R1), модуль 24 назначения уровня приоритета назначает более высокий уровень приоритета светофору, находящемуся на встречной полосе (PL), чем светофору, находящемуся на текущей полосе (WL) движения транспортного средства. Это предоставляет возможность предпочтительного обнаружения светофора, который менее вероятно будет загорожен в зоне видимости или вероятно будет загорожен в зоне видимости в течение короткого периода времени.

[0045] Обычно светофор для заблаговременного предупреждения предусматривается, чтобы предоставлять уведомление о состоянии дороги или трафика заранее. Таким образом, даже в позиции, где регулярный светофор может быть загорожен в зоне видимости, светофор для заблаговременного предупреждения менее вероятно должен быть загорожен в зоне видимости. По этой причине, когда модуль 23 идентификации светофора идентифицирует светофор для заблаговременного предупреждения в качестве какого-либо из двух или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, модуль 24 назначения уровня приоритета предоставляет более высокий уровень приоритета светофору для заблаговременного предупреждения, чем другим светофорам. Это предоставляет возможность даже более раннего обнаружения светофоров.

[0046] Как показано на фиг. 6, после достижения цели в обнаружении светофора с наивысшим уровнем приоритета (Да на этапе S25), модуль 15 обнаружения светофора продолжает обнаруживать светофор. Это предоставляет возможность устойчивого, длительного обнаружения светофора.

[0047] Иногда быстрее обнаружить светофор со вторым наивысшим уровнем приоритета, чем ожидать обнаружения светофора с наивысшим уровнем приоритета. Таким образом, как показано на фиг. 6, модуль 15 обнаружения светофора обнаруживает светофор со вторым наивысшим уровнем приоритета, когда не имеет возможности обнаруживать светофор с наивысшим уровнем приоритета (Нет на этапе S25). Это предоставляет возможность раннего обнаружения светофора. Кроме того, в блок-схеме последовательности операций на фиг. 6 модуль 15 обнаружения светофора продолжает обнаруживать светофор со вторым наивысшим уровнем приоритета. Это предоставляет возможность устойчивого, длительного обнаружения светофора.

[0048] (ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

В блок-схеме последовательности операций на фиг. 6, пока светофор с высоким уровнем приоритета успешно обнаруживается, модуль 15 обнаружения светофора продолжает обнаруживать этот светофор и не обнаруживает другие светофоры с низкими уровнями приоритета. Во втором варианте осуществления, описанном ниже, устройство распознавания светофора и способ распознавания светофора обнаруживают, независимо от того, успешно ли обнаружение светофора, все два или более светофоров, идентифицированных посредством модуля 23 идентификации светофора, последовательно со светофора с наивысшим уровнем приоритета.

[0049] Второй вариант осуществления отличается от первого варианта осуществления в процедуре этапа S13 на фиг. 5, которая показана подробно на фиг. 6, но является таким же, что и первый вариант осуществления, в конфигурации устройства 100 распознавания светофора, показанного на фиг. 2, и процедурах этапов S01-S11 на фиг. 5. Описание пропускается для конфигурации и процедур, которые являются такими же, что и в первом варианте осуществления.

[0050] Со ссылкой на фиг. 7 описывается подробная процедура этапа S13 на фиг. 5. Сначала, аналогично фиг. 6, данные изображения в областях обнаружения для соответствующих N светофоров извлекаются на этапе S21, и уровни (i) приоритета, назначенные светофорам, отображаются на извлеченные области обнаружения на этапе S23.

[0051] На этапе S25, аналогично фиг. 6, выполняется попытка обнаружения светофора, начиная с области обнаружения, соответствующей наивысшему уровню (i=1) приоритета. Когда обнаружение светофора неуспешно (Нет на этапе S25), блок-схема последовательности операций переходит к этапу S31. Когда обнаружение светофора успешно (Да на этапе S25), блок-схема последовательности операций переходит к этапу S27, чтобы выводить информацию D04 о светофоре, и затем, в отличие от фиг. 6, переходит к этапу S31.

[0052] На этапе S31, аналогично фиг. 6, определяется, равен ли N текущий уровень (i) приоритета. Когда текущий уровень (i) приоритета не равен N (Нет на этапе S31), текущий уровень (i) приоритета прирастает на единицу (этап S35), и блок-схема последовательности операций возвращается к этапу S25. Когда текущий уровень (i) приоритета равен N (Да на этапе S31), с другой стороны, наивысший уровень приоритета задается в качестве текущего уровня (i) приоритета снова (этап S33), и блок-схема последовательности операций возвращается к этапу S25.

[0053] Таким образом, когда светофор успешно обнаруживается (Да на этапе S25), вместо продолжения обнаружения этого светофора из той же области обнаружения, выполняется попытка обнаружения для следующего светофора. Другими словами, модуль 15 обнаружения светофора обнаруживает два или более светофоров последовательно со светофора с наивысшим уровнем приоритета, независимо от того, успешно ли обнаружение светофора. Использование результатов обнаружения всех идентифицированных светофоров для распознавания сигнала предоставляет возможность предотвращения ошибочного распознавания светофоров. По этой причине два или более светофоров обнаруживаются последовательно со светофора с наивысшим уровнем приоритета, независимо от того, успешно ли обнаружение светофора. Это увеличивает точность распознавания светофора.

[0054] [ТРЕТИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

На вероятность загораживания светофора в зоне видимости влияет географическая информация, включающая в себя форму дороги, по которой транспортное средство движется (такую как прямая дорога, изогнутая дорога или уклон), присутствие уличных деревьев и присутствие препятствия, такого как дорожные работы. В третьем варианте осуществления, описанном ниже, устройство распознавания светофора и способ распознавания светофора принимают географическую информацию во внимание при назначении уровней приоритета.

[0055] Третий вариант осуществления отличается от первого варианта осуществления в конфигурации модуля 24b назначения уровня приоритета и этапе S07 на фиг. 5, но является таким же, что и первый вариант осуществления, в других конфигурациях устройства 100 распознавания светофора и других этапах на фиг. 5. Описание пропускается для конфигураций и этапов, которые являются такими же, что и в первом варианте осуществления.

[0056] Со ссылкой на фиг. 8 описывается конфигурация модуля 24b назначения уровня приоритета согласно третьему варианту осуществления. Модуль 24b назначения уровня приоритета включает в себя модуль 31 назначения базового уровня и модуль 32 изменения первого уровня. Модуль 31 назначения базового уровня выполняет ту же арифметическую обработку, что и модуль 24 назначения уровня приоритета на фиг. 3. В частности, модуль 31 назначения базового уровня назначает уровни приоритета двум или более светофорам, идентифицированным посредством модуля 23 идентификации светофора, в соответствии с базовыми правилами (R1) и (R2). Уровни приоритета, назначенные посредством модуля 31 назначения базового уровня, называются "базовыми уровнями приоритета".

[0057] Модуль 32 изменения первого уровня изменяет базовые уровни приоритета на основе географической информации. Измененные уровни приоритета выводятся в качестве уровней приоритета, назначенных посредством модуля 24b назначения уровня приоритета. Более конкретно, как показано на фиг. 9, модуль 32 изменения первого уровня определяет форму дороги RD, протягивающейся от текущей позиции (собственной позиции) транспортного средства 51 до перекрестка Crs, на котором светофор, который должен быть обнаружен, находится. Например, модуль 32 изменения первого уровня обращается к картографической информации D02 и определяет, является ли форма дороги RD, по которой транспортное средство 51 движется, изгибом, изгибающимся по направлению к встречной полосе (PL) от транспортного средства 51 в направлении DD движения.

[0058] Когда определяется, что дорога RD является изгибом, изгибающимся по направлению к встречной полосе (PL), модуль 32 изменения первого уровня изменяет базовые уровни приоритета в соответствии с правилом (V1) изменения, описанным ниже.

[0059] (V1) Назначается более высокий уровень приоритета светофору, находящемуся рядом с текущей полосой (WL) движения транспортного средства 51, чем светофору, находящемуся рядом с встречной полосой (PL).

[0060] Из текущей полосы (WL) и встречной полосы (PL) светофор, находящийся на противоположной стороне направления поворота транспортного средства 51, может быть обнаружен из позиции дальше от перекрестка, чем светофор, находящийся на той же стороне, что и направление поворота транспортного средства 51. Соответственно, когда дорога изгибается по направлению к встречной полосе (PL), светофор рядом с текущей полосой (WL) может быть обнаружен раньше, чем светофор рядом с встречной полосой (PL). Таким образом, правило (V1) изменения применяется, чтобы реверсировать отношение приоритета в базовом правиле (R1).

[0061] Согласно правилу (V1) изменения, описанному выше, уровни приоритета трех светофоров (Ts1, Ts2, Ts3) на фиг. 9 – это, от наивысшего к низшему, светофор Ts2, светофор Ts3 и светофор Ts1. В частности, светофору Ts2 и светофору Ts3, которые находятся рядом с текущей полосой (WL), назначаются более высокие уровни приоритета, чем светофору Ts1, находящемуся рядом с встречной полосой (PL). Базовое правило (R2) все еще применяется, даже когда применяется правило (V1) изменения. Таким образом, светофору Ts2 на ближней стороне перекрестка назначается более высокий уровень приоритета, чем светофору Ts3, находящемуся на дальней стороне перекрестка Crs.

[0062] Географическая информация, принятая во внимание модулем 32 изменения первого уровня, может быть формой (уклоном) дороги, отличной от изгиба, или препятствием, таким как уличное дерево или дорожные работы. В таких случаях устройство 100 распознавания светофора выясняет информацию об уклоне на дороге и информацию о препятствии из данных движения или т.п. и добавляет эту информацию как часть картографической информации D02. На основе информации об уклоне и информации о препятствии модуль 32 изменения первого уровня прогнозирует, какой светофор менее вероятно должен быть загорожен в зоне видимости, и изменяет базовые уровни приоритета. Хотя пример на фиг. 9 показывает правый изгиб с транспортным средством, движущимся слева, третий вариант осуществления конечно применим к левому изгибу с транспортным средством, движущимся справа.

[0063] Как описано, когда форма дороги RD, по которой транспортное средство 51 движется, является изгибом, который изгибается по направлению к встречной полосе PL с точки зрения транспортного средства 51, модуль 24b назначения уровня приоритета назначает более высокий уровень приоритета светофору Ts1, находящемуся рядом с встречной полосой PL, чем светофорам (Ts2, Ts3), находящимся рядом с текущей полосой WL. Это предоставляет возможность назначения уровней приоритета соответствующим образом в соответствии с формой дороги.

[0064] [ЧЕТВЕРТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

В четвертом варианте осуществления, описанном ниже, устройство распознавания светофора и способ распознавания светофора пытаются обнаруживать светофоры перед назначением уровня приоритета и назначать уровни приоритета светофорам, которые обнаружены.

[0065] Четвертый вариант осуществления отличается от первого варианта осуществления в конфигурации модуля 24c назначения уровня приоритета и этапе S07 на фиг. 5, но является таким же, что и первый вариант осуществления, в других конфигурациях устройства 100 распознавания светофора и других этапах на фиг. 5. Описание пропускается для конфигураций и этапов, которые являются такими же, что и в первом варианте осуществления.

[0066] Со ссылкой на фиг. 10 описывается конфигурация модуля 24c назначения уровня приоритета согласно четвертому варианту осуществления. Модуль 24c назначения уровня приоритета включает в себя модуль 31 назначения базового уровня и модуль 33 изменения второго уровня. Модуль 31 назначения базового уровня выполняет ту же арифметическую обработку, что и модуль 24 назначения уровня приоритета на фиг. 3. В частности, модуль 31 назначения базового уровня назначает базовые уровни приоритета двум или более светофорам, идентифицированным посредством модуля 23 идентификации светофора, в соответствии с базовыми правилами (R1) и (R2).

[0067] Модуль 33 изменения второго уровня изменяет базовые уровни приоритета на основе результатов обнаружения светофора, полученных посредством модуля 15 обнаружения светофора. Измененные уровни приоритета выводятся в качестве уровней приоритета, назначенных посредством модуля 24c назначения уровня приоритета. Трудно прогнозировать светофор, который загораживается в зоне видимости вследствие фактора, неопознаваемого из картографической информации, такого как обстановка дорожного движения и состояние дороги, на основе лишь позиционной информации о светофоре. Желательно, чтобы попытка обнаружения выполнялась для всех светофоров, идентифицированных посредством модуля 23 идентификации светофора, и чтобы результаты обнаружения возвращались в уровни приоритета. Таким образом, модуль 15 обнаружения светофора выполняет попытку обнаружения для всех светофоров заранее, и затем модуль 33 изменения второго уровня назначает уровни приоритета светофорам, которые успешно обнаружены.

[0068] Со ссылкой на фиг. 11 описывается подробная процедура этапа S07 на фиг. 5. Сначала, на этапе S21, данные изображения в областях обнаружения для соответствующих N светофоров извлекаются, и на этапе S23 уровни (i) приоритета, назначенные светофорам, отображаются на извлеченные области обнаружения.

[0069] На этапе S25 выполняется попытка обнаружения светофора в области обнаружения, которая соответствует светофору с наивысшим уровнем (i=1) приоритета. Когда светофор успешно обнаруживается (Да на этапе S25), блок-схема последовательности операций переходит к этапу S39, чтобы предоставлять светофору флаг, указывающий успешное обнаружение. Это предоставляет возможность устройству распознавания светофора узнавать, что этот светофор является обнаруживаемым. Когда светофор успешно не обнаруживается (Нет на этапе S25), блок-схема последовательности операций переходит к этапу S37, чтобы не предоставлять флаг успешного обнаружения. Это предоставляет возможность устройству распознавания светофора узнавать, что этот светофор не является обнаруживаемым.

[0070] После этого блок-схема последовательности операций переходит к этапу S31, чтобы определять, равен ли N текущий уровень (i) приоритета. Когда текущий уровень (i) приоритета не равен N (Нет на этапе S31), текущий уровень (i) приоритета прирастает на единицу (этап S35), и блок-схема последовательности операций возвращается к этапу S25. Когда текущий уровень (i) приоритета равен N (Да на этапе S31), это означает, что попытка обнаружения была выполнена для всех светофоров. Таким образом, блок-схема последовательности операций переходит к этапу S41, чтобы назначать уровни приоритета помеченным флагом светофорам. Таким образом, уровни приоритета могут быть переназначены обнаруживаемым светофорам, извлеченным из светофоров, которым базовые уровни приоритета назначены посредством модуля 31 назначения базового уровня.

[0071] Фиг. 12 показывает пример состояния дороги, когда на дороге RD, которая является правым поворотом, уличное дерево OBT загораживает часть светофора Ts1, делая часть светофора Ts1 невидимой из транспортного средства 51. В этом состоянии модуль 31 назначения базового уровня назначает базовые уровни приоритета, от наивысшего к низшему, светофору Ts1, светофору Ts2 и светофору Ts3, в соответствии с базовыми правилами (R1) и (R2). Затем модуль 33 изменения второго уровня принимает результаты обнаружения, указывающие, что светофор Ts2 и светофор Ts3 помечены флагами, а светофор Ts1 не помечен флагом. На основе этих результатов обнаружения модуль 33 изменения второго уровня назначает уровни приоритета светофору Ts2 и светофору Ts3, а не светофору Ts1. В качестве правил, используемых для назначения уровней приоритета, модуль 33 изменения второго уровня может применять базовые правила (R1) и (R2) или, дополнительно, правило (V1) изменения.

[0072] Трудно прогнозировать светофор, который загораживается в зоне видимости вследствие фактора, неопознаваемого из картографической информации, такого как обстановка дорожного движения и состояние дороги, на основе лишь позиционной информации о светофоре. Желательно, чтобы попытка обнаружения выполнялась для всех светофоров, идентифицированных посредством модуля 23 идентификации светофора, и чтобы результаты обнаружения возвращались в уровни приоритета. Таким образом, модуль обнаружения светофора выполняет попытку обнаружения всех светофоров, а модуль назначения уровня приоритета назначает уровни приоритета светофорам, которые успешно обнаружены. Это предоставляет возможность устранения необнаруживаемых светофоров из целей назначения уровня приоритета и, следовательно, предоставляет возможность раннего обнаружения обнаруживаемых светофоров.

[0073] Хотя настоящее изобретение было описано выше с помощью вариантов осуществления, настоящее изобретение не ограничивается тем, что описано выше в данном документе, и может быть модифицировано и улучшено по-разному, как очевидно специалистам в области техники.

[0074] Например, первый вариант осуществления описывает базовое правило для назначения более высокого уровня приоритета светофору для заблаговременного предупреждения, чем другим светофорам. Это базовое правило применяется также к другим вариантам осуществления. В частности, модуль 32 изменения первого уровня назначает более высокий уровень приоритета светофору для заблаговременного предупреждения, чем другим светофорам, независимо от того, находится ли светофор для заблаговременного предупреждения рядом с встречной полосой или текущей полосой. Альтернативно, модуль 33 изменения второго уровня назначает более высокий уровень приоритета светофору для заблаговременного предупреждения, чем другим светофорам, когда светофор для заблаговременного предупреждения помечен флагом.

СПИСОК ПОЗИЦИОННЫХ ОБОЗНАЧЕНИЙ

[0075] 11 модуль формирования изображения

12 модуль обнаружения собственной позиции

13 модуль оценки позиции светофора

23 модуль идентификации светофора

24 модуль назначения уровня приоритета

15 модуль обнаружения светофора

100 устройство распознавания светофора

D02 картографическая информация

PL встречная полоса

RD дорога

Ts1, Ts2, Ts3 светофор

WL текущая полоса

Изобретение относится к устройству распознавания светофора и способу распознавания светофора. Устройство (100) распознавания светофора получает (11) данные (D08) изображения, формируя изображение окружения транспортного средства, обнаруживает (12) собственную позицию транспортного средства и обнаруживает, в изображении, светофор около транспортного средства. Устройство распознавания светофора идентифицирует (23) два или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, на основе информации собственной позиции (D05) и картографической информации (D02), содержащей позиционную информацию по светофорам, и назначает (24) уровень приоритета каждому из двух или более светофоров, идентифицированных таким образом, на основе вероятности загораживания светофора в зоне видимости. Когда два или более светофоров идентифицируются, светофор, обнаруженный (15) в изображении, является светофором с наивысшим уровнем приоритета среди двух или более светофоров. Обеспечивается улучшение вероятности обнаружения светофора, когда прогнозируется захват в изображении двух или более светофоров. 2 н. и 7 з.п. ф-лы, 12 ил.

1. Устройство распознавания светофора, содержащее:

модуль формирования изображения, установленный в транспортном средстве и выполненный с возможностью получать изображение посредством формирования изображения окружения транспортного средства;

модуль обнаружения собственной позиции, выполненный с возможностью обнаруживать собственную позицию транспортного средства;

модуль обнаружения светофора, выполненный с возможностью обнаруживать, в изображении, светофор около транспортного средства;

модуль идентификации светофора, выполненный с возможностью идентифицировать два или более светофоров около транспортного средства и которые, как прогнозируется, должны быть захвачены в изображении, на основе собственной позиции и картографической информации, содержащей позиционную информацию по светофорам; и

модуль назначения уровня приоритета, выполненный с возможностью назначать уровень приоритета каждому из двух или более светофоров, идентифицированных посредством модуля идентификации светофора, на основе вероятности загораживания светофора в зоне видимости, при этом

когда модуль идентификации светофора идентифицирует два или более светофоров, модуль обнаружения светофора обнаруживает, в изображении, светофор с наивысшим уровнем приоритета среди двух или более светофоров.

2. Устройство распознавания светофора по п. 1, при этом

уровень приоритета, назначенный посредством модуля назначения уровня приоритета, выше для светофора, находящегося рядом с встречной полосой, чем для светофора, находящегося рядом с текущей полосой движения транспортного средства.

3. Устройство распознавания светофора по п. 1, при этом

когда форма дороги, по которой транспортное средство движется, является изгибом, изгибающимся по направлению к встречной полосе с точки зрения транспортного средства, уровень приоритета, назначенный посредством модуля назначения уровня приоритета, выше для светофора, находящегося рядом с текущей полосой движения транспортного средства, чем для светофора, находящегося рядом с встречной полосой.

4. Устройство распознавания светофора по любому из п.п. 1-3, при этом

когда модуль идентификации светофора идентифицирует светофор для заблаговременного предупреждения в качестве какого-либо из двух или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, уровень приоритета, назначенный посредством модуля назначения уровня приоритета, выше для светофора для заблаговременного предупреждения, чем для остальных светофоров.

5. Устройство распознавания светофора по любому из п.п. 1-4, при этом

при успешном обнаружении светофора с наивысшим уровнем приоритета модуль обнаружения светофора продолжает обнаруживать светофор.

6. Устройство распознавания светофора по любому из п.п. 1-5, при этом

при неуспешном обнаружении светофора с наивысшим уровнем приоритета модуль обнаружения светофора обнаруживает светофор со вторым наивысшим уровнем приоритета.

7. Устройство распознавания светофора по любому из п.п. 1-4, при этом

модуль обнаружения светофора обнаруживает два или более светофоров последовательно со светофора с наивысшим уровнем приоритета, независимо от того, успешно ли обнаружен светофор или нет.

8. Устройство распознавания светофора по любому из п.п. 1-4, при этом

модуль обнаружения светофора пытается обнаруживать каждый из светофоров, которые идентифицированы посредством модуля идентификации светофора, прежде чем модуль назначения уровня приоритета назначает уровень приоритета,

модуль назначения уровня приоритета назначает уровень приоритета каждому из светофоров, которые идентифицированы посредством модуля идентификации светофора и успешно обнаружены, и

модуль обнаружения светофора обнаруживает, в изображении, светофор с наивысшим уровнем приоритета среди двух или более светофоров, после того как уровень приоритета назначен.

9. Способ распознавания светофора, содержащий этапы, на которых:

получают изображение посредством формирования изображения окружения транспортного средства с помощью модуля формирования изображения, установленного в транспортном средстве;

обнаруживают собственную позицию транспортного средства;

обнаруживают, в изображении, светофор, находящийся около транспортного средства;

идентифицируют два или более светофоров, которые, как прогнозируется, должны быть захвачены в изображении, на основе собственной позиции и картографической информации, содержащей позиционную информацию о светофорах, находящихся около транспортного средства; и

назначают уровень приоритета каждому из двух или более светофоров, идентифицированных таким образом, на основе вероятности загораживания светофора в зоне видимости, при этом,

когда два или более светофоров идентифицируются, светофор, обнаруженный в изображении, является светофором с наивысшим уровнем приоритета среди двух или более светофоров.