УСТРОЙСТВО ОБНАРУЖЕНИЯ СВЕТОФОРА И СПОСОБ ОБНАРУЖЕНИЯ СВЕТОФОРА Российский патент 2018 года по МПК G08G1/16 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обнаружения светофора и способу обнаружения светофора.

Уровень техники

[0002] До сих пор было известно устройство обнаружения светофора, которое обнаруживает светофор из изображения, захваченного камерой (см. патентную литературу 1). В патентной литературе 1 возможная сигнальная лампа обнаруживается из изображения на основе цвета и формы сигнальной лампы, и определяется, мигает или нет возможная сигнальная лампа с предварительно определенным периодом.

Список ссылок

Патентная литература

[0003] Патентная литература 1: Публикация японской патентной заявки № 2005-301518

Сущность изобретения

Техническая проблема

[0004] Когда транспортное средство, оснащенное камерой, находится в движении, позиции яркостных переходов, включенных в изображение, полученное в движении, также перемещаются. Таким образом, ступенчатые характеристики яркости возникают в областях, где яркостные переходы переместились, таким образом, создавая шум, имеющий широкие частотные компоненты. Когда пикселы, яркость которых изменяется с предварительно определенным периодом, извлекаются в качестве сигнальной лампы, шум, имеющий широкие частотные компоненты, ошибочно распознается как сигнальная лампа в некоторых случаях.

Решение проблемы

[0005] Настоящее изобретение было выполнено, чтобы решать вышеупомянутую проблему, и целью настоящего изобретения является предоставление устройства обнаружения светофора и способа обнаружения светофора, которые приспособлены точно обнаруживать сигнальную лампу, пресекая ошибочное обнаружение ступенчатой характеристики яркости как сигнальной лампы, даже когда яркостные переходы перемещаются.

[0006] Устройство обнаружения светофора согласно аспекту настоящего изобретения использует блок захвата изображения, который установлен на транспортном средстве, чтобы захватывать изображения окружающей обстановки транспортного средства, таким образом, получая захваченные изображения, извлекает синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, из захваченных изображений, и обнаруживает светофор из синхронизированных пикселов. Устройство обнаружения светофора включает в себя: блок вычисления позиционного изменения, который вычисляет величины позиционного изменения для непрерывно извлекаемых позиций синхронизированных пикселов; и блок определения сигнальной лампы, который определяет, в качестве возможной сигнальной лампы, синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения.

Краткое описание чертежей

[0007] Фиг. 1 - это блок-схема, показывающая общую конфигурацию устройства обнаружения светофора согласно первому варианту осуществления.

Фиг. 2 - это блок-схема, показывающая подробную конфигурацию блока 15 формирования синхронизированного изображения, показанного на фиг. 1.

Фиг. 3 - это блок-схема, показывающая подробную конфигурацию блока 18a обнаружения светофора, показанного на фиг. 1.

Фиг. 4(a)-4(c) - это концептуальные схемы, каждая показывает, как перекрывающийся фрагмент DA сигнальной лампы, перемещающейся в направлении X-оси, извлекается в качестве синхронизированных пикселов, а фиг. 4(d)-4(f) -это концептуальные схемы, каждая показывает, как, в другой лампе, ступенчатая характеристика из включенного в выключенное состояние и ступенчатая характеристика из выключенного во включенное состояние поочередно извлекаются в качестве синхронизированных пикселов.

Фиг. 5(a), 5(c) и 5(d) - это концептуальные схемы, каждая показывает, как позиция области высокой яркости переместилась вправо от области ST в область EN в цикле формирования синхронизированного изображения, и фиг. 5(b) -это график, показывающий время t1 нарастания и время t2 спада опорного сигнала, синхронного с фазой электрической энергии, подаваемой на светофор.

Фиг. 6 - это блок-схема последовательности операций, показывающая пример способа обнаружения светофора, использующего устройство обнаружения светофора, показанное на фиг. 1.

Фиг. 7 - это блок-схема, показывающая общую конфигурацию устройства обнаружения светофора согласно второму варианту осуществления.

Фиг. 8 - это блок-схема, показывающая подробную конфигурацию блока 18b обнаружения светофора, показанного на фиг. 7.

Фиг. 9 - это блок-схема последовательности операций, показывающая пример способа обнаружения светофора, использующего устройство обнаружения светофора, показанное на фиг. 7.

Описание вариантов осуществления

[0008] (Первый вариант осуществления)

Далее, варианты осуществления настоящего изобретения описываются подробно со ссылкой на чертежи.

[0009] Со ссылкой на фиг. 1 предоставляется описание общей конфигурации устройства обнаружения светофора согласно первому варианту осуществления. Устройство обнаружения светофора включает в себя: блок 11 захвата изображения, который устанавливается на транспортное средство, чтобы получать изображения, захватывая изображения окружающей обстановки транспортного средства; и блок 12 обработки изображения, который обнаруживает светофор из изображений, полученных посредством блока 11 захвата изображения.

[0010] Блок 11 захвата изображения является камерой, оборудованной твердотельным устройством восприятия изображения, например, CCD или CMOS, и получает цветные изображения, которые могут быть подвергнуты обработке изображения. Блок 11 захвата изображения циклически получает изображения впереди транспортного средства с предварительно определенными интервалами времени, таким образом, получая множество непрерывных изображений (кадров). Блок 11 захвата изображения захватывает изображения более чем один раз во время одного периода переменного тока электрической энергии, подаваемой на светофор.

[0011] Блок 12 обработки изображения принимает изображения, полученные посредством блока 11 захвата изображения, и обнаруживает светофор из изображений. Информация об обнаруженном светофоре передается другому блоку обработки (ECU 13 транспортного средства), установленному на транспортном средстве, включающем в себя контроллер для реализации автоматизированного вождения транспортного средства, например. Блок 12 обработки изображения включает в себя микроконтроллер, включающий в себя CPU, память 25 и блок ввода-вывода, например, и составляет множество информационных процессоров, включенных в устройство обнаружения светофора, выполняя предварительно установленные компьютерные программы. Блок 12 обработки изображения циклически выполняет последовательность циклов обработки информации (включающей в себя обработку формирования синхронизированного изображения) для обнаружения светофора из изображения посредством блока из множества непрерывных захваченных изображений (кадров). Блок 12 обработки изображения может также служить в качестве ECU, используемого для других управлений, относящихся к транспортному средству.

[0012] Память 25 одновременно хранит множество изображений (кадров) 28, захваченных посредством блока 11 захвата изображения. Например, память 25 хранит множество изображений 28, захваченных во время одного-трех периодов переменного тока электрической энергии, подаваемой на светофор. Обработка формирования синхронизированного изображения выполняется посредством блока из множества захваченных изображений 28, сохраненных таким образом.

[0013] Множество информационных процессоров, включенных в блок 12 обработки изображения, включают в себя блок 15 формирования синхронизированного изображения, блок 14 задания группы синхронизированных пикселов и блок 18a обнаружения светофора.

[0014] Блок 15 формирования синхронизированного изображения получает информацию о фазе системы энергоснабжения вокруг транспортного средства, включающей в себя светофор. Затем, блок 15 формирования синхронизированного изображения использует информацию о фазе системы энергоснабжения, чтобы извлекать синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, из захваченных изображений. Таким образом, блок 15 формирования синхронизированного изображения формирует синхронизированное изображение, включающее в себя извлеченные синхронизированные пикселы. Более конкретно, как показано на фиг. 2, блок 15 формирования синхронизированного изображения включает в себя блок 17 формирования опорного сигнала, блок 30 умножения и низкочастотный фильтр (LPF) 20.

[0015] Блок 17 формирования опорного сигнала использует информацию о фазе системы энергоснабжения (коммерческого источника питания), чтобы формировать опорный сигнал, синхронный с фазой электрической энергии, подаваемой на светофор. Блок 30 умножения умножает опорный сигнал на сигнал яркости каждого из пикселов в захваченном изображении (кадре) 28, считанном из памяти 25. Блок 30 умножения выполняет вышеописанную обработку умножения по каждому из множества захваченных изображений, одновременно хранящихся в памяти 25. LPF 20 захватывает только низкочастотные компоненты из результата умножения посредством блока 30 умножения, уменьшая частотные компоненты, более высокие, чем предварительно определенная частота среза, и выводит синхронизированное изображение, включающее в себя синхронизированные пикселы.

[0016] Электрическая энергия, подаваемая на светофор, является электроэнергией переменного тока, полученной посредством двухполупериодного выпрямления электроэнергии от коммерческого источника питания. Яркость сигнальной лампы, включаемой при приеме энергии, подаваемой от коммерческого источника питания, изменяется с тем же периодом, что и период (например, 100 Гц) двухполупериодной выпрямленной электроэнергии переменного тока. Следовательно, синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, извлекаются из захваченного изображения 28.

[0017] Блок 14 задания группы синхронизированных пикселов задает множество синхронизированных пикселов, обнаруженных в предварительно определенной области, в качестве одной группы синхронизированных пикселов, т.е. распознает набор множества синхронизированных пикселов как одну группу синхронизированных пикселов. Более конкретно, блок 14 задания группы синхронизированных пикселов задает множество соседних синхронизированных пикселов в качестве одной группы синхронизированных пикселов, т.е. распознает скопление множества синхронизированных пикселов как одну группу синхронизированных пикселов. Например, множество синхронизированных пикселов, включенных в область, где плотность синхронизированных пикселов выше предварительно определенного контрольного значения, задаются как одна группа синхронизированных пикселов.

[0018] Блок 18a обнаружения светофора извлекает сигнальную лампу, которая включена, из синхронизированных пикселов обнаруживает светофор, включающий в себя сигнальную лампу. Как показано на фиг. 3, блок 18a обнаружения светофора включает в себя, по меньшей мере: блок 21 вычисления позиционного изменения, который вычисляет величины позиционного изменения для непрерывно извлекаемых позиций синхронизированных пикселов; и блок 22 определения сигнальной лампы, который определяет, в качестве возможной сигнальной лампы, синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения.

[0019] Блок 21 вычисления позиционного изменения вычисляет позицию центра формы группы синхронизированных пикселов, заданной посредством блока 14 задания группы синхронизированных пикселов, и вычисляет величину перемещения непрерывно извлекаемых позиций центра формы в качестве величины позиционного изменения. Блок 22 определения сигнальной лампы определяет группу синхронизированных пикселов, величина позиционного изменения которых равна или меньше порогового значения, в качестве возможной сигнальной лампы. Блок 22 определения сигнальной лампы корректирует пороговое значение согласно площади группы синхронизированных пикселов. Более конкретно, чем больше площадь группы синхронизированных пикселов, тем больше пороговое значение. Кроме того, когда группа синхронизированных пикселов, величина позиционного изменения которых равна или меньше порогового значения, непрерывно формируется в течение порогового времени или более посредством блока 15 формирования синхронизированного изображения, блок 22 определения сигнальной лампы определяет группу синхронизированных пикселов в качестве возможной сигнальной лампы. Например, один период электрической энергии, подаваемой на светофор, может быть задан в качестве порогового времени.

[0020] Кроме того, блок 18a обнаружения светофора определяет, похож или нет оттенок возможной сигнальной лампы, определенной посредством блока 22 определения сигнальной лампы, на оттенок цвета сигнала, а также определяет степень округлости возможной сигнальной лампы. Лампы, которые должны включаться при приеме электрической энергии, подаваемой от коммерческого источника питания, включают в себя другие лампы, светящиеся на улице, такие как уличные фонари, торговые автоматы и знаки, в дополнение к сигнальным лампам, включенным в светофор. Возможные сигнальные лампы могут также включать в себя такие другие лампы. Блок 18a обнаружения светофора определяет сходство в оттенке между возможными сигнальными лампами и цветами сигнала, а также определяет степени округлости возможных сигнальных ламп. Таким образом, блок 18a обнаружения светофора может обнаруживать сигнальную лампу и светофор, включающий в себя сигнальную лампу, исключая такие другие лампы из возможных сигнальных ламп.

[0021] Далее, со ссылкой на фиг. 4 и 5, предоставляется описание причины того, почему группа синхронизированных пикселов, величина позиционного изменения которых равна или меньше порогового значения, может быть определена в качестве возможной сигнальной лампы.

[0022] Когда рассматриваемое транспортное средство, оборудованное блоком 11 захвата изображения, находится в движении, позиция области высокой яркости, включенной в изображение, захваченное в движении, также перемещается. Область высокой яркости включает в себя задние фонари (стоп-сигналы и сигнальные лампы поворота) впереди едущего транспортного средства и передние фары встречного транспортного средства, например, помимо сигнальной лампы, которая включена. Даже когда рассматриваемое транспортное средство останавливается, позиции задних фонарей впереди едущего транспортного средства и передние фары встречного транспортного средства также движутся, когда другие окружающие транспортные средства движутся.

[0023] Позиции яркостных переходов также перемещаются, когда позиция области высокой яркости перемещается. Таким образом, ступенчатые характеристики яркости возникают в областях (ST и EN), где яркостные переходы переместились, таким образом, создавая шум, имеющий широкие частотные компоненты. Когда пикселы, яркость которых изменяется с предварительно определенным периодом, извлекаются в качестве синхронизированных пикселов, шум, имеющий широкие частотные компоненты, ошибочно извлекается в качестве синхронизированных пикселов.

[0024] Когда позиция области высокой яркости изменяется в цикле формирования синхронизированного изображения для блока 15 формирования синхронизированного изображения, чтобы формировать синхронизированные изображения, позиции пикселов, извлеченных в качестве синхронизированных пикселов, изменяются в зависимости от того, изменяется или нет яркость в области высокой яркости с предварительно определенным периодом.

[0025] Фиг. 5(a), 5(c) и 5(d), каждая, показывают, как позиция области высокой яркости переместилась вправо от области ST в область EN в цикле формирования синхронизированного изображения. Фиг. 5(a) показывает случай, когда область высокой яркости является сигнальной лампой, яркость которой изменяется с предварительно определенным периодом (период переменного тока коммерческого источника питания). Фиг. 5(c) и 5(d), каждая, показывают случай, когда область высокой яркости является любой из других ламп, яркость которых не изменяется с предварительно определенным периодом. "Другие лампы" включают в себя, например, задние фонари впереди едущего транспортного средства и передние фары встречного транспортного средства. В случае на фиг. 5(a), поскольку яркость области высокой яркости сама изменяется с периодом переменного тока коммерческого источника питания, перекрывающийся фрагмент DA между областью ST и областью EN извлекается в качестве синхронизированных пикселов. С другой стороны, в случаях на фиг. 5(c) и 5(d), поскольку яркость перекрывающегося фрагмента DA между областью ST и областью EN периодически не изменяется, перекрывающийся фрагмент DA не извлекается. Однако, фрагмент, полученный посредством исключения перекрывающегося фрагмента DA из областей ST и EN, является фрагментом, где яркостные переходы переместились. Следовательно, возникают ступенчатые характеристики яркости, и формируется шум, имеющий широкие частотные компоненты. Таким образом, фрагмент, полученный посредством исключения перекрывающегося фрагмента DA из областей ST и EN, ошибочно извлекается в качестве синхронизированных пикселов, яркость которых изменяется с периодом переменного тока коммерческого источника питания.

[0026] Кроме того, как показано на фиг. 5(b), ступенчатая характеристика из выключенного состояния во включенное извлекается в качестве синхронизированных пикселов во время t1 нарастания опорного сигнала, синхронного с фазой электрической энергии, подаваемой на светофор. Ступенчатая характеристика из выключенного состояния во включенное происходит в фрагменте, полученном посредством исключения перекрывающегося фрагмента DA из области EN. Однако, ступенчатая характеристика из включенного состояния в выключенное не извлекается в качестве синхронизированных пикселов. Следовательно, как показано на фиг. 5(c), во время t1, фрагмент, полученный посредством исключения перекрывающегося фрагмента DA из области EN, ошибочно извлекается в качестве синхронизированных пикселов, яркость которых изменяется с периодом переменного тока коммерческого источника питания.

[0027] С другой стороны, ступенчатая характеристика из включенного состояния в выключенное состояние извлекается в качестве синхронизированных пикселов во время t2 спада опорного сигнала. Ступенчатая характеристика из включенного состояния в выключенное происходит в фрагменте, полученном посредством исключения перекрывающегося фрагмента DA из области ST. Однако, ступенчатая характеристика из выключенного состояния во включенное не извлекается в качестве синхронизированных пикселов. Следовательно, как показано на фиг. 5(d), во время t2, фрагмент, полученный посредством исключения перекрывающегося фрагмента DA из области ST, ошибочно извлекается в качестве синхронизированных пикселов, яркость которых изменяется с периодом переменного тока коммерческого источника питания.

[0028] Следовательно, когда другая лампа, яркость которой не изменяется с предварительно определенным периодом, сохраняет перемещение в том же направлении, синхронизированные пикселы, показанные на фиг. 5(c) и 5(d) поочередно и циклически извлекаются. Следовательно, когда область высокой яркости является такой другой лампой, яркость которой не изменяется с предварительно определенным периодом, непрерывно извлекаемые позиции синхронизированных пикселов значительно изменяются, и, таким образом, не являются ни устойчивыми, ни единообразными. С другой стороны, когда область высокой яркости является сигнальной лампой, яркость которой изменяется с периодом переменного тока коммерческого источника питания, перекрывающийся фрагмент DA извлекается в качестве синхронизированных пикселов. Таким образом, непрерывно извлекаемые позиции синхронизированных пикселов почти не изменяются и, таким образом, являются устойчивыми и единообразными.

[0029] Фиг. 4(a)-4(c) показывают, как перекрывающийся фрагмент DA сигнальной лампы, перемещающейся в направлении X-оси, извлекается в качестве синхронизированных пикселов. Фиг. 4(d)-4(f) показывают, как, в другой лампе, ступенчатая характеристика из включенного состояния в выключенное и ступенчатая характеристика из выключенного состояния во включенное состояние поочередно извлекаются в качестве синхронизированных пикселов. Решетчатая рамка (FL) на фиг. 4(a)-4(f) представляет рамку, состоящую из множества пикселов, размещенных в матрице, и каждая решетчатая рамка представляет пикселы устройства захвата изображения. Область из 6 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси соответствует сигнальной лампе или другой лампе.

[0030] В цикле формирования синхронизированного изображения, показанном на фиг. 4(a), сигнальная лампа не перемещается. Следовательно, вся сигнальная лампа соответствует перекрывающемуся фрагменту DA1 и извлекается как синхронизированные пикселы. Предположим, что центром формы перекрывающегося фрагмента DA1 является G1. Затем, в цикле формирования синхронизированного изображения, показанном на фиг. 4(b), сигнальная лампа перемещается на 2 пиксела в направлении X-оси. Следовательно, ее перекрывающийся фрагмент DA2 является областью из 4 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси. Центр формы (G2) перекрывающегося фрагмента DA2 в этом извлечении перемещается на 1 пиксел в направлении X-оси от центра формы (G1) в предыдущем извлечении. После этого, в цикле формирования синхронизированного изображения, показанном на фиг. 4(c), снова, сигнальная лампа перемещается на 2 пиксела в направлении X-оси. Следовательно, ее перекрывающийся фрагмент DA3 является областью из 4 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси. Центр формы (G3) перекрывающегося фрагмента DA3 в этом извлечении перемещается на 2 пиксела в направлении X-оси от центра формы (G2) в предыдущем извлечении.

[0031] С другой стороны, в цикле формирования синхронизированного изображения, показанном на фиг. 4(d), другая лампа перемещается на 2 пиксела в направлении X-оси. Цикл формирования синхронизированного изображения, показанный на фиг. 4(d), является синхронным с временем t1 нарастания опорного сигнала. Следовательно, фрагмент, где происходит ступенчатая характеристика из выключенного состояния во включенное, т.е. фрагмент, полученный исключением перекрывающегося фрагмента DA1 из области EN1, извлекается в качестве синхронизированных пикселов. Фрагмент, полученный исключением перекрывающегося фрагмента DA1 из области EN1, является областью из 2 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси, и предполагается, что ее центром формы является g1. В цикле формирования синхронизированного изображения, показанном на фиг. 4(e), другая лампа перемещается на 2 пиксела в направлении X-оси. Цикл формирования синхронизированного изображения, показанный на фиг. 4(e), является синхронным с временем t2 спада опорного сигнала. Следовательно, фрагмент, где происходит ступенчатая характеристика из включенного состояния в выключенное, т.е. фрагмент, полученный исключением перекрывающегося фрагмента DA2 из области ST2, извлекается в качестве синхронизированных пикселов. Фрагмент, полученный исключением перекрывающегося фрагмента DA2 из области ST2, является областью из 2 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси, и центр формы (g2) в этом извлечении перемещается на 4 пиксела в направлении X-оси от центра формы (g1) в предыдущем извлечении. В цикле формирования синхронизированного изображения, показанном на фиг. 4(f), другая лампа перемещается на 2 пиксела в направлении X-оси. Цикл формирования синхронизированного изображения, показанный на фиг. 4(f), является синхронным с временем t1 нарастания опорного сигнала. Следовательно, как и в случае на фиг. 4(d), фрагмент, полученный исключением перекрывающегося фрагмента DA3 из области EN3, извлекается в качестве синхронизированных пикселов. Фрагмент, полученный исключением перекрывающегося фрагмента DA3 из области EN3, является областью из 2 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси, и центр формы (g3) в этом извлечении перемещается на 8 пикселов в направлении X-оси от центра формы (g2) в предыдущем извлечении.

[0032] Как описано выше, в зависимости от того, являются ли синхронизированные пикселы сигнальной лампой или другой лампой, существует значительное различие в величине позиционного изменения на изображении синхронизированных пикселов. Более конкретно, когда синхронизированные пикселы являются сигнальной лампой, величина позиционного изменения непрерывно извлекаемых центров формы (G1-G3) синхронизированных пикселов является небольшой между циклами формирования непрерывного синхронизированного изображения. С другой стороны, когда синхронизированные пикселы являются другой лампой, величина позиционного изменения непрерывно извлекаемых центров формы (G1-G3) синхронизированных пикселов является большой между циклами формирования непрерывного синхронизированного изображения. Следовательно, если пороговое значение может быть правильно задано для величин позиционного изменения непрерывных извлекаемых позиций синхронизированных пикселов (или центра формы группы синхронизированных пикселов), возможные сигнальные лампы могут быть точно определены посредством исключения другой лампы из синхронизированных пикселов.

[0033] Пороговое значение регулируется согласно площади группы синхронизированных пикселов. Например, половина размера извлеченной группы синхронизированных пикселов может быть задана в качестве порогового значения. В примере на фиг. 4(b) и 4(c) прямоугольная область из 4 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси извлекается в качестве группы синхронизированных пикселов. Половина длин в направлениях X-оси и Y-оси, т.е. 2 пиксела в направлении X-оси на 3 пиксела в направлении Y-оси могут быть заданы в качестве порогового значения. Таким образом, группы (DA2 и DA3) синхронизированных пикселов, показанные на фиг. 4(b) и 4(c), определяются в качестве возможных сигнальных ламп. С другой стороны, в примере на фиг. 4(d)-4(f), прямоугольная область из 2 пикселов в направлении X-оси на 6 пикселов в направлении Y-оси извлекается в качестве группы синхронизированных пикселов. Половина длин в направлениях X-оси и Y-оси, т.е. 1 пиксел в направлении X-оси на 3 пиксела в направлении Y-оси могут быть заданы в качестве порогового значения. Таким образом, группы синхронизированных пикселов, показанные на фиг. 4(d)-4(f), исключаются из возможных сигнальных ламп. Как описано выше, пороговое значение может быть задано так, что, чем больше площадь группы синхронизированных пикселов, тем больше пороговое значение.

[0034] Со ссылкой на фиг. 6, предоставляется описание примера способа обнаружения светофора, использующего устройство обнаружения светофора, показанное на фиг. 1. Более конкретно, предоставляется описание примера последовательности циклов обработки информации для обнаружения светофора из изображения, которая выполняется блоком 12 обработки изображения, показанным на фиг. 1. Цикл обработки информации, показанный в блок-схеме последовательности операций на фиг. 6, начинается, когда переключатель зажигания транспортного средства включается, и устройство обнаружения светофора запускается, и циклически исполняется с предварительно определенным периодом до тех пор, пока устройство обнаружения светофора не будет остановлено.

[0035] Сначала, на этапе S01, блок 12 обработки изображения регулирует позиционное соотношение между захваченными изображениями, на основе величины смещения, заданной в предыдущем цикле обработки информации, т.е. направление сдвига и величину сдвига захваченных изображений. Таким образом, корректируется размывание между захваченными изображениями.

[0036] Затем, обработка переходит к этапу S03, где блок 12 обработки изображения сохраняет захваченные изображения, позиции которых были скорректированы, в памяти 25. После этого, на этапе S05, блок 15 формирования синхронизированного изображения использует информацию о фазе системы энергоснабжения, чтобы извлекать синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, из захваченных изображений, позиции которых были отрегулированы, и формирует синхронизированное изображение, состоящее из извлеченных синхронизированных пикселов.

[0037] Затем, обработка переходит к этапу S07, где блок 14 задания группы синхронизированных пикселов задает набор из множества синхронизированных пикселов в качестве группы синхронизированных пикселов. Как само собой разумеющееся, множество групп синхронизированных пикселов могут быть заданы в качестве одного синхронизированного изображения. Затем, на этапе S09, блок 21 вычисления позиционного изменения вычисляет позиции центра формы (G1-G3, g1-g3) группы синхронизированных пикселов, заданной посредством блока 14 задания группы синхронизированных пикселов, и вычисляет величину перемещения непрерывно извлекаемых позиций центра формы (G1-G3, g1-g3) в качестве величины позиционного изменения. Другими словами, величина перемещения позиций центра формы синхронизированных пикселов между циклами формирования синхронизированного изображения вычисляется в качестве величины позиционного изменения.

[0038] После этого обработка переходит к этапу S11, где блок 22 определения сигнальной лампы регулирует пороговое значение согласно площади группы синхронизированных пикселов, как описано со ссылкой на фиг. 4. Затем, на этапе S13, блок 22 определения сигнальной лампы определяет, действительно или нет величина позиционного изменения группы синхронизированных пикселов равна или меньше порогового значения. Если величина позиционного изменения равна или меньше порогового значения (Да на этапе S13), обработка переходит к этапу S14. С другой стороны, если величина позиционного изменения не равна или меньше порогового значения (Нет на этапе S13), обработка переходит к этапу S17, где блок 22 определения сигнальной лампы исключает группу синхронизированных пикселов из возможных сигнальных ламп, и затем переходит к этапу S19.

[0039] На этапе S14 блок 22 определения сигнальной лампы определяет, действительно или нет синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения, непрерывно формируются посредством блока 15 формирования синхронизированного изображения в течение более чем одного периода электрической энергии, подаваемой на светофор. Если формирование продолжается в течение более чем одного периода (Да на этапе S14), может быть определено, что группы синхронизированных пикселов обнаруживаются устойчиво во времени. Таким образом, обработка переходит к этапу S15, где блок 22 определения сигнальной лампы определяет группу синхронизированных пикселов в качестве возможной сигнальной лампы, и затем переходит к этапу S19. С другой стороны, если формирование не продолжается в течение более чем одного периода (Нет на этапе S14), группы синхронизированных пикселов не обнаруживаются устойчиво во времени. Таким образом, обработка переходит к этапу S17, чтобы исключать группу синхронизированных пикселов из возможных сигнальных ламп.

[0040] На этапе S19 определяется, выполнено или нет определение для всех групп синхронизированных пикселов, заданных на этапе S07. Если определение не выполнено для всех групп синхронизированных пикселов (Нет на этапе S19), обработка возвращается к этапу S09, чтобы выполнять вышеописанную обработку определения для оставшихся групп синхронизированных пикселов. С другой стороны, если определение выполнено для всех групп синхронизированных пикселов (Да на этапе S19), последовательность операций на фиг. 6 завершается. После этого блок 18a обнаружения светофора определяет сходство в оттенке между возможными сигнальными лампами и цветами сигнала, а также определяет степени округлости возможных сигнальных ламп. Таким образом, блок 18a обнаружения светофора может обнаруживать сигнальную лампу и светофор, включающий в себя сигнальную лампу, исключая такие другие лампы из возможных сигнальных ламп.

[0041] Как описано выше, первый вариант осуществления может добиваться следующих полезных результатов.

[0042] Ступенчатая характеристика яркости возникает в области, где яркостный переход переместился, таким образом, создавая шум, имеющий широкие частотные компоненты. Следовательно, блок 15 формирования синхронизированного изображения может извлекать переместившийся фрагмент яркостного перехода в качестве синхронизированных пикселов. Когда синхронизированные пикселы, извлеченные посредством блока 15 формирования синхронизированного изображения, соответствуют переместившемуся фрагменту яркостного перехода, позиции синхронизированных пикселов на изображении не являются устойчивыми, и величина изменения между синхронизированными изображениями (цикл извлечения синхронизированного изображения) является относительно большой. С другой стороны, когда синхронизированные пикселы, извлеченные посредством блока 15 формирования синхронизированного изображения, соответствуют сигнальной лампе, позиции синхронизированных пикселов на изображении являются устойчивыми, и величина изменения между циклами извлечения синхронизированного изображения является относительно небольшой. Следовательно, блок 22 определения сигнальной лампы извлекает синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения, в качестве возможной сигнальной лампы. Таким образом, синхронизированные пикселы, величина позиционного изменения которых больше порогового значения, исключаются из возможных сигнальных ламп. Соответственно, сигнальная лампа может быть точно обнаружена посредством пресечения ошибочного извлечения ступенчатых характеристик яркости в качестве возможной сигнальной лампы, даже когда яркостные переходы задних фонарей впереди едущего транспортного средства, головные фары встречного транспортного средства или т.п. перемещаются на захваченном изображении.

[0043] Блок 14 задания группы синхронизированных пикселов задает множество синхронизированных пикселов, обнаруженных в предварительно определенном диапазоне, в качестве одной группы синхронизированных пикселов. Блок 21 вычисления позиционного изменения вычисляет величину изменения позиции центра формы группы синхронизированных пикселов в качестве величины позиционного изменения. Таким образом, величина позиционного изменения может быть точно получена.

[0044] Блок 14 задания группы синхронизированных пикселов задает множество соседних синхронизированных пикселов в качестве одной группы синхронизированных пикселов. Таким образом, скопление множества синхронизированных пикселов может быть распознано как одна группа синхронизированных пикселов. Следовательно, сигнальная лампа может быть точно обнаружена.

[0045] Блок 22 определения сигнальной лампы корректирует пороговое значение согласно площади группы синхронизированных пикселов. Таким образом, соответствующее пороговое значение может быть задано согласно размеру группы синхронизированных пикселов.

[0046] Когда синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения, непрерывно формируется в течение порогового времени или более посредством блока 15 формирования синхронизированного изображения, блок 22 определения сигнальной лампы определяет синхронизированные пикселы в качестве возможной сигнальной лампы. Когда синхронизированные пикселы непрерывно извлекаются в течение, по меньшей мере, одного периода переменного тока или более, синхронизированные пикселы определяются как возможная сигнальная лампа. Таким образом, устойчиво во времени извлекаемые синхронизированные пикселы могут быть заданы в качестве возможной сигнальной лампы. Следовательно, сигнальная лампа может быть точно обнаружена.

[0047] (Второй вариант осуществления)

Со ссылкой на фиг. 7 предоставляется описание общей конфигурации устройства обнаружения светофора согласно второму варианту осуществления. Устройство обнаружения светофора по п. 7 дополнительно включает в себя картографическую базу данных 16 и блок 19 измерения позиции рассматриваемого транспортного средства, в дополнение к конфигурации, показанной на фиг. 1. Отметим, что функции блока 18b обнаружения светофора отличаются от функций блока 18a обнаружения светофора, и, таким образом, их описание предоставляется позже со ссылкой на фиг. 8. Картографическая база данных 16 хранит позиционную информацию для светофора, который должен быть обнаружен. Позиционная информация светофора может включать в себя информацию о высоте от земли, в дополнение к двухмерной координатной информации. Блок 19 измерения позиции рассматриваемого транспортного средства является, например, GPS (система глобального позиционирования) приемником, который принимает сигнал от GPS-спутника, чтобы определять текущую позицию транспортного средства. Позиционная информация для светофора и информация о текущей позиции транспортного средства передаются блоку 18b обнаружения светофора. В отличие от вышеописанного, блок 11 захвата изображения, память 25, блок 15 формирования синхронизированного изображения, блок 14 задания группы синхронизированных пикселов и ECU 13 транспортного средства являются такими же, что и показанные на фиг. 1, и их описание пропускается.

[0048] Блок 18b обнаружения светофора извлекает сигнальную лампу, которая включена, из синхронизированных пикселов и обнаруживает светофор, включающий в себя сигнальную лампу. Как показано на фиг. 8, блок 18b обнаружения светофора дополнительно включает в себя, в дополнение к конфигурации, показанной на фиг. 3: блок 24 вычисления расстояния, который вычисляет расстояние от транспортного средства до позиции в фактическом пространстве, соответствующем синхронизированным пикселам (или группе синхронизированных пикселов), на основе величины позиционного изменения, вычисленной посредством блока 21 вычисления позиционного изменения; и блок 26 оценки расстояния, который оценивает расстояние от транспортного средства до светофора на основе оцененной позиции транспортного средства и позиции светофора на карте. Также, блок 22 определения сигнальной лампы дополнительно включает в себя блок 27 настройки области обнаружения.

[0049] Блок 24 вычисления расстояния использует способ движения стереопары, чтобы вычислять расстояние до позиции в фактическом пространстве, соответствующем синхронизированным пикселам, на основе величины позиционного изменения синхронизированных пикселов. Способ движения стереопары является способом для оценки расстояния посредством получения оптического потока из непрерывных изображений. Когда одна камера движется, расстояние до субъекта может быть вычислено на основе "перемещения на экране" субъекта на непрерывных изображениях, захваченных с минутными временными интервалами, и "смещения позиции съемки".

[0050] Блок 26 оценки расстояния использует позиционную информацию светофора и информацию о текущей позиции транспортного средства, переданную из картографической базы данных 16 и блока 19 измерения позиции рассматриваемого транспортного средства, в качестве оцененной позиции транспортного средства и позиции светофора на карте. Например, когда существует множество светофоров на перекрестке, расстояние может быть оценено для каждого из светофоров. Отметим, что, чтобы упрощать обработку информации, единственное расстояние может быть задано для множества светофоров, принадлежащих одному перекрестку. Кроме того, предполагается, что светофор является светофором, ближайшим к рассматриваемому транспортному средству на полосе движения, где рассматриваемое транспортное средство движется.

[0051] Блок 22 определения сигнальной лампы определяет возможную сигнальную лампу из синхронизированных пикселов на расстоянии, вычисленном посредством блока 24 вычисления расстояния, которое длиннее расстояния, оцененного посредством блока 26 оценки расстояния. Когда синхронизированные пикселы, сформированные посредством блока 15 формирования синхронизированного изображения, являются переместившимся фрагментом яркостного перехода, непрерывно извлекаемые позиции синхронизированных пикселов являются неустойчивыми, и величина изменения между синхронизированными изображениями (цикл извлечения синхронизированного изображения) является относительно большой. Поскольку большая величина изменения ведет к большому расхождению, блок 24 вычисления расстояния вычисляет расстояние, более короткое, чем фактическое расстояние до позиции в фактическом пространстве, соответствующем синхронизированным пикселам. Таким образом, когда расстояние до позиции в фактическом пространстве, соответствующем синхронизированным пикселам, короче расстояния до светофора на карте, синхронизированные пикселы могут быть определены как переместившийся фрагмент яркостного перехода и, таким образом, могут быть исключены из возможных сигнальных ламп.

[0052] Кроме того, блок 22 определения сигнальной лампы может определять возможную сигнальную лампу из синхронизированных пикселов дальше, чем расстояние, которое может быть вычислено посредством блока 24 вычисления расстояния.

[0053] Блок 22 определения сигнальной лампы включает в себя блок 27 настройки области обнаружения, который задает область обнаружения, в синхронизированном изображении, для определения возможной сигнальной лампы. Блок 22 определения сигнальной лампы определяет возможную сигнальную лампу среди синхронизированных пикселов в заданной области обнаружения.

[0054] Например, блок 27 настройки области обнаружения задает пороговую высоту на изображении на основе расстояния, оцененного посредством блока 26 оценки расстояния и высоты фрагмента сигнальной лампы светофора от земли. Блок 22 определения сигнальной лампы определяет возможную сигнальную лампу из области обнаружения на или выше пороговой высоты в синхронизированном изображении. Посредством наложения ограничения в направлении высоты на диапазон синхронизированного изображения, который должен быть извлечен, эффективность определения возможной сигнальной лампы улучшается. Таким образом, быстрое обнаружение светофора может быть реализовано.

[0055] Кроме того, блок 24 вычисления расстояния может вычислять расстояние от транспортного средства до позиции в фактическом пространстве, соответствующем синхронизированным пикселам. В этом случае блок 27 настройки области обнаружения может задавать область обнаружения в синхронизированном изображении на основе направления, вычисленного посредством блока 24 вычисления расстояния. Блок 22 определения сигнальной лампы может обнаруживать светофор из заданной области обнаружения.

[0056] Со ссылкой на фиг. 9, предоставляется описание примера способа обнаружения светофора, использующего устройство обнаружения светофора, показанное на фиг. 7. Более конкретно, предоставляется описание примера последовательности циклов обработки информации для обнаружения светофора из изображения, которая выполняется блоком 12 обработки изображения, показанным на фиг. 7. Цикл обработки информации, показанный в блок-схеме последовательности операций на фиг. 9, начинается, когда переключатель зажигания транспортного средства включается, и устройство обнаружения светофора запускается, и циклически исполняется с предварительно определенным периодом до тех пор, пока устройство обнаружения светофора не будет остановлено. Главным образом, описываются отличия от фиг. 6.

[0057] Та же обработка, что и обработка на фиг. 6, выполняется с этапа S01 по этап S09. После этого обработка переходит к этапу S21, где блок 24 вычисления расстояния использует способ движения стереопары, чтобы вычислять расстояние от транспортного средства до позиции в фактическом пространстве, соответствующем группе синхронизированных пикселов, на основе величины позиционного изменения синхронизированных пикселов. Затем, на этапе S23, блок 26 оценки расстояния оценивает расстояние от транспортного средства до светофора на основе оцененной позиции транспортного средства и позиции светофора на карте.

[0058] После этого, на этапе S25, блок 22 определения сигнальной лампы определяет, длиннее или нет расстояние, вычисленное посредством блока 24 вычисления расстояния, чем расстояние, оцененное посредством блока 26 оценки расстояния. Если вычисленное расстояние длиннее оцененного расстояния (Да на этапе S25), группа синхронизированных пикселов вероятно должна быть сигнальной лампой, и, таким образом, обработка переходит к этапу S11. С другой стороны, если вычисленное расстояние не длиннее оцененного расстояния (Нет на этапе S25), группа синхронизированных пикселов может быть определена как переместившийся фрагмент яркостного перехода. Таким образом, обработка переходит к этапу S17, чтобы исключать группу синхронизированных пикселов из возможных сигнальных ламп. После этого обработка переходит к этапу S19.

[0059] Та же обработка, что и обработка на фиг. 6, выполняется с этапа S11 по этап S17.

[0060] Как описано выше, второй вариант осуществления может добиваться следующих полезных результатов.

[0061] Когда синхронизированные пикселы, сформированные посредством блока 15 формирования синхронизированного изображения, соответствуют переместившемуся фрагменту яркостного перехода, непрерывно извлекаемые позиции синхронизированных пикселов являются неустойчивыми, и величина изменения между синхронизированными изображениями (цикл извлечения синхронизированного изображения) является относительно большой. Когда величина изменения является большой, блок 24 вычисления расстояния вычисляет расстояние, более короткое, чем фактическое расстояние до позиции в фактическом пространстве, соответствующем синхронизированным пикселам. Таким образом, когда расстояние до позиции в фактическом пространстве, соответствующем синхронизированным пикселам, короче расстояния до светофора на карте, синхронизированные пикселы могут быть определены как переместившийся фрагмент яркостного перехода и, таким образом, могут быть исключены из возможных сигнальных ламп. Следовательно, сигнальная лампа может быть точно обнаружена.

[0062] Блок 22 определения сигнальной лампы определяет возможную сигнальную лампу среди синхронизированных пикселов дальше расстояния, которое может быть вычислено посредством блока 24 вычисления расстояния. Таким образом, предотвращается ошибочное определение переместившегося фрагмента яркостного перехода как сигнальной лампы.

[0063] Блок 22 определения сигнальной лампы может задавать пороговую высоту по синхронизированному изображению на основе расстояния, оцененного посредством блока 26 оценки расстояния, и высоты фрагмента сигнальной лампы светофора от земли и определять возможную сигнальную лампу из области обнаружения на или выше пороговой высоты в синхронизированном изображении. Таким образом, посредством наложения ограничения в направлении высоты на диапазон синхронизированного изображения, который должен быть извлечен, эффективность определения возможной сигнальной лампы улучшается. Таким образом, быстрое обнаружение светофора может быть реализовано.

[0064] Блок 18b обнаружения светофора может задавать область обнаружения в синхронизированном изображении на основе направления, вычисленного посредством блока 24 вычисления расстояния, и обнаруживать светофор из области обнаружения. Посредством наложения ограничения направления на диапазон синхронизированного изображения, который должен быть извлечен, эффективность извлечения синхронизированных пикселов улучшается. Таким образом, светофор может быть эффективно обнаружен.

[0065] В то время как варианты осуществления настоящего изобретения были описаны выше, необходимо понимать, что описание и чертежи, формирующие часть этого описания изобретения, не ограничивают настоящее изобретение. Из этого описания изобретения различные альтернативные варианты осуществления, примеры и операционные техники станут очевидны специалистам в области техники.

Список ссылочных знаков

[0066] 11 блок захвата изображения

12 блок обработки изображения

14 блок задания группы синхронизированных пикселов

15 блок формирования синхронизированного изображения (блок извлечения синхронизированных пикселов)

16 картографическая база данных

19 блок измерения позиции рассматриваемого транспортного средства

18a, 18b блок обнаружения светофора

21 блок вычисления позиционного изменения

22 блок определения сигнальной лампы

23 блок настройки порогового значения

24 блок вычисления расстояния

26 блок оценки расстояния

27 блок настройки области обнаружения

28 захваченное изображение (кадр)

Изобретение относится к устройству обнаружения светофора и способу обнаружения светофора. Устройство, осуществляющиеся по спобосу обнаружения светофора, использует блок захвата изображений, установленный на транспортном средстве, чтобы извлекать из захваченного изображения окружающей обстановки транспортного средства синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, и обнаруживает светофор из синхронизированных пикселов. Устройство обнаружения светофора снабжается: блоком вычисления позиционного изменения, который вычисляет величины позиционного изменения непрерывно извлекаемых позиций синхронизированных пикселов; и блоком определения сигнальной лампы, который определяет, в качестве возможной сигнальной лампы, синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения. Обеспечивается точное обнаружение сигнальной лампы, пресекая ошибочное обнаружение ступенчатой характеристики яркости как сигнальной лампы, даже когда яркостные переходы перемещаются. 2 н. и 8 з.п. ф-лы, 9 ил.

1. Устройство обнаружения светофора, содержащее:

блок (11) захвата изображения, который установлен на транспортное средство, чтобы получать изображения, захватывая изображения окружающей обстановки транспортного средства;

блок (15) извлечения синхронизированных пикселов, который извлекает синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, из изображений; и

блок (18а) обнаружения светофора, который обнаруживает светофор из синхронизированных пикселов, при этом

блок (18а) обнаружения светофора включает в себя:

блок (21) вычисления позиционного изменения, который вычисляет величины позиционного изменения непрерывно извлекаемых позиций синхронизированных пикселов, и

блок (22) определения сигнальной лампы, который определяет, в качестве возможной сигнальной лампы, синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения.

2. Устройство обнаружения светофора по п. 1, дополнительно содержащее:

блок (14) задания группы синхронизированных пикселов, который задает множество синхронизированных пикселов, обнаруженных в предварительно определенной области, в качестве одной группы синхронизированных пикселов, при этом

блок (21) вычисления позиционного изменения вычисляет величину изменения позиции центра формы группы синхронизированных пикселов в качестве величины позиционного изменения.

3. Устройство обнаружения светофора по п. 2, в котором блок (14) задания группы синхронизированных пикселов задает множество соседних синхронизированных пикселов в качестве одной группы синхронизированных пикселов.

4. Устройство обнаружения светофора по одному из пп. 2 и 3,

в котором блок (22) определения сигнальной лампы регулирует пороговое значение согласно площади группы синхронизированных пикселов.

5. Устройство обнаружения светофора по любому из пп. 1-3,

в котором, когда синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения, непрерывно извлекаются в течение порогового времени или более посредством блока (15) извлечения синхронизированных пикселов, блок (22) определения сигнальной лампы определяет синхронизированные пикселы как возможную сигнальную лампу.

6. Устройство обнаружения светофора по любому из пп. 1-3,

в котором блок (18а, 18b) обнаружения светофора дополнительно включает в себя:

блок (24) вычисления расстояния, который вычисляет расстояние от транспортного средства до позиции в фактическом пространстве, соответствующем синхронизированным пикселам, на основе величины позиционного изменения, вычисленной посредством блока (21) вычисления позиционного изменения; и

блок (26) оценки расстояния, который оценивает расстояние от транспортного средства до светофора на основе оцененной позиции транспортного средства и позиции светофора на карте, и

блок (22) определения сигнальной лампы, который определяет возможную сигнальную лампу из синхронизированных пикселов на расстоянии, вычисленном посредством блока (24) вычисления расстояния, которое длиннее расстояния, оцененного посредством блока (26) оценки расстояния.

7. Устройство обнаружения светофора по п. 6,

в котором блок (22) определения сигнальной лампы определяет возможную сигнальную лампу из синхронизированных пикселов дальше расстояния, которое может быть вычислено посредством блока (24) вычисления расстояния.

8. Устройство обнаружения светофора по п. 6,

в котором блок (22) определения сигнальной лампы задает пороговую высоту по изображению на основе расстояния, оцененного посредством блока (26) оценки расстояния, и высоты фрагмента сигнальной лампы светофора от земли и определяет возможную сигнальную лампу из области обнаружения на или выше пороговой высоты в изображении.

9. Устройство обнаружения светофора по п. 6,

при этом

блок (24) вычисления расстояния вычисляет направление от транспортного средства до позиции в фактическом пространстве, соответствующем синхронизированным пикселам, и

блок (18а, 18b) обнаружения светофора задает область обнаружения в изображении на основе направления, вычисленного посредством блока (24) вычисления расстояния, и обнаруживает светофор из области обнаружения.

10. Способ обнаружения светофора, содержащий этапы, на которых:

получают изображения, захватывая изображения окружающей обстановки транспортного средства с помощью блока (11) захвата изображений, установленного на транспортном средстве;

извлекают синхронизированные пикселы, яркость которых изменяется синхронно с периодом переменного тока электрической энергии, подаваемой на светофор, из изображений;

вычисляют величины позиционного изменения непрерывно извлекаемых позиций синхронизированных пикселов;

извлекают синхронизированные пикселы, величина позиционного изменения которых равна или меньше порогового значения, в качестве возможной сигнальной лампы; и

обнаруживают светофор из возможной сигнальной лампы.