УСТРОЙСТВО ОБНАРУЖЕНИЯ СВЕТОФОРОВ И СПОСОБ ОБНАРУЖЕНИЯ СВЕТОФОРОВ Российский патент 2017 года по МПК G08G1/16 

Область техники, к которой относится изобретение

[0001] Изобретение относится к устройству обнаружения светофоров и к способу обнаружения светофоров.

Уровень техники

[0002] На сегодняшний день известно устройство обнаружения светофоров для обнаружения светофора из изображения, захваченного посредством камеры (см. патентный документ 1). Согласно патентному документу 1, часть, указывающая цвет сигнальной лампы, извлекается из изображения, вычисляется округлость, указывающая то, насколько близкой к идеальной окружности является извлеченная часть, и часть, имеющая более высокую округлость, обнаруживается в качестве возможного варианта для сигнальной лампы.

Список библиографических ссылок

Патентные документы

[0003] Патентный документ 1. Публикация заявки на патент Японии номер 2005-301518

Сущность изобретения

[0004] Для обнаружения в качестве возможного варианта для сигнальной лампы, извлеченная часть должна иметь размер изображения, достаточно большой для определения округлости. Таким образом, технология в патентном документе 1 испытывает затруднения при точном обнаружении удаленного светофора, размер изображения которого является слишком небольшим для того, чтобы определять округлость.

[0005] Настоящее изобретение осуществлено с учетом вышеизложенной проблемы, и его задача заключается в том, чтобы предоставлять устройство обнаружения светофоров и способ обнаружения светофоров, допускающие обнаружение даже удаленного светофора с высокой точностью.

[0006] Устройство обнаружения светофоров согласно аспекту настоящего изобретения включает в себя модуль захвата изображений, выполненный с возможностью захватывать изображение в направлении движения транспортного средства, и модуль обнаружения светофоров, выполненный с возможностью обнаруживать светофор из изображения. Модуль обнаружения светофоров включает в себя модуль формирования опорных сигналов, выполненный с возможностью задавать опорные сигналы, число которых является кратным числу три, и фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофор, на кратное числу три, и модуль регулирования фазы, выполненный с возможностью регулировать фазу опорного сигнала из опорных сигналов, число которых является кратным числу три, причем фаза опорного сигнала является ближайшей к фазе мощности переменного тока, до фазы мощности переменного тока. Модуль обнаружения светофоров извлекает из изображения синхронизированный пиксел с яркостью, которая варьируется синхронно с опорным сигналом, имеющим фазу, отрегулированную до фазы мощности переменного тока, и определяет то, что светофор присутствует в позиции синхронизированного пиксела.

Краткое описание чертежей

[0007] Фиг. 1 является блок-схемой, иллюстрирующей общую конфигурацию устройства обнаружения светофоров согласно варианту осуществления настоящего изобретения.

Фиг. 2 является блок-схемой, иллюстрирующей подробную конфигурацию модуля 17 формирования опорных сигналов, модуля 15 формирования синхронизированных изображений и модуля 16 регулирования фазы.

Фиг. 3 является графиком, иллюстрирующим пример трех опорных сигналов (L01, L02, L03), заданных посредством модуля 17 формирования опорных сигналов.

Фиг. 4 является графиком, иллюстрирующим варьирования яркости синхронизированных изображений (G01, G02, G03), фиг. 4(a) иллюстрирует случай, в котором имеется отклонение между фазой выбранного опорного сигнала и фазой мощности переменного тока, подаваемой в светофор, а фиг. 4(b) иллюстрирует случай, в котором фаза выбранного опорного сигнала совпадает с фазой мощности переменного тока, подаваемой в светофор.

Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей пример способа обнаружения светофоров с использованием устройства обнаружения светофоров, проиллюстрированного на фиг. 1.

Фиг. 6(a) является схемой, указывающей необходимый размер пиксельной группы 53a, чтобы обнаруживать возможный вариант для сигнальной лампы из округлости, а фиг. 6(b) является схемой, указывающей число синхронизированных пикселов 53b, которые могут обнаруживаться в варианте осуществления.

Фиг. 7 является графиком, иллюстрирующим пример выходных значений обнаружения шести синхронизированных изображений (G01-G06), полученных из шести опорных сигналов.

Фиг. 8(a) является графиком, иллюстрирующим разность в диапазоне варьирования яркости в зависимости от расстояния от транспортного средства, а фиг. 8(b) является схемой, иллюстрирующей уличный светильник 31a, торговый автомат 31b и вывеску 31c в качестве примеров видов электрического освещения, расположенных около транспортного средства, и иллюстрирующей светофоры 32 и 33, удаленные от транспортного средства.

Фиг. 9 является схемой, иллюстрирующей пример изображения, захваченного камерой, когда транспортное средство движется в туннеле.

Подробное описание вариантов осуществления

[0008] Со ссылкой на чертежи, предоставляется описание варианта осуществления. На чертежах, идентичные части обозначаются посредством идентичных ссылок с номерами, и их описание опускается.

[0009] Со ссылкой на фиг. 1, ниже приводится описание общей конфигурации устройства обнаружения светофоров согласно варианту осуществления. Устройство обнаружения светофоров монтируется на транспортном средстве и включает в себя модуль 11 захвата изображений для захвата изображения в направлении движения транспортного средства и модуль 12 обнаружения светофоров для обнаружения светофора из изображения, полученного посредством модуля 11 захвата изображений.

[0010] Модуль 11 захвата изображений представляет собой цифровую камеру с использованием твердотельного датчика изображений, например, CCD или CMOS, которая получает цифровое изображение, для которого может выполняться обработка изображений. Цифровая камера включает в себя широкоугольную линзу, имеющую широкий угол обзора. Диапазон формирования изображений (угол обзора) модуля 11 захвата изображений включает в себя направление движения транспортного средства и обочины дороги в направлениях вправо и влево около транспортного средства. Модуль 11 захвата изображений многократно захватывает изображение с предварительно определенными временными интервалами и получает последовательность из нескольких изображений (кадров).

[0011] Модуль 12 обнаружения светофоров принимает изображения (в дальнейшем называемые "изображениями, снятыми камерой"), полученные посредством модуля 11 захвата изображений, и обнаруживает позицию светофора в изображениях, снятых камерой. Позиционная информация обнаруженного светофора передается в другое функциональное обрабатывающее устройство (CPU 13 транспортного средства), смонтированное на транспортном средстве, которое включает в себя, например, контроллер, чтобы выполнять автоматизированное приведение в движение транспортного средства. Модуль 12 обнаружения светофоров включает в себя микроконтроллер, включающий в себя, например, CPU, запоминающее устройство и модуль ввода-вывода, которые служат в качестве нескольких модулей обработки информации, включенных в устройство обнаружения светофоров посредством выполнения компьютерной программы, установленной заранее. Модуль 12 обнаружения светофоров многократно выполняет последовательность информационных процессов для каждой последовательности из нескольких изображений, снятых камерой (кадров), чтобы обнаруживать позицию светофора из изображений, снятых камерой. Модуль 12 обнаружения светофоров может быть включен в ECU, который также используется для другого управления транспортным средством.

[0012] Несколько модулей обработки информации, служащих в качестве модуля 12 обнаружения светофоров, включают в себя модуль 15 формирования синхронизированных изображений, модуль 16 регулирования фазы, модуль 17 формирования опорных сигналов и модуль 18 определения светофоров. Модуль 17 формирования опорных сигналов задает опорные сигналы, число которых является кратным числу три, и фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофоры, на кратное числу три. Модуль 16 регулирования фазы регулирует фазу опорного сигнала, который является одним из опорных сигналов из кратного числу три, и фаза которого является ближайшей к фазе мощности переменного тока, до фазы мощности переменного тока. Ниже описываются подробности модуля 17 формирования опорных сигналов и модуля 16 регулирования фазы со ссылкой на фиг. 2-4.

[0013] Модуль 15 формирования синхронизированных изображений извлекает из изображений, снятых камерой, синхронизированный пиксел с яркостью, которая варьируется синхронно с опорным сигналом, фаза которого отрегулирована до фазы мощности переменного тока, и формирует синхронизированные изображения, включающие в себя извлеченный синхронизированный пиксел. Например, модуль 15 формирования синхронизированных изображений выполняет процесс обнаружения синхронизации для умножения опорного сигнала, фаза которого отрегулирована до фазы мощности переменного тока, и сигнала яркости каждого пиксела изображений, снятых камерой. Из этого процесса, извлекается синхронизированный пиксел с яркостью, которая варьируется синхронно с циклом мощности переменного тока, подаваемой в светофоры.

[0014] Мощность переменного тока, подаваемая в светофоры, представляет собой мощность переменного тока, полученную посредством двухполупериодного выпрямления электроэнергии из сети общего пользования. Яркость сигнальной лампы, которая загорается посредством приема подачи электроэнергии из сети общего пользования, варьируется с циклом, идентичным циклу (например, 100 Гц) двухполупериодной выпрямленной мощности переменного тока. По этой причине, можно обнаруживать сигнальную лампу, которая загорается посредством приема электроэнергии из сети общего пользования посредством извлечения, из изображений, снятых камерой, синхронизированного пиксела с яркостью, которая варьируется синхронно с циклом мощности переменного тока, подаваемой в светофоры. Ниже описываются подробности модуля 15 формирования синхронизированных изображений со ссылкой на фиг. 2.

[0015] Модуль 18 определения светофоров определяет то, присутствует или нет светофор в позиции синхронизированного пиксела, извлеченного посредством модуля 15 формирования синхронизированных изображений, на основе оттенка синхронизированного пиксела. В частности, модуль 18 определения светофоров определяет то, является или нет оттенок синхронизированного пиксела аналогичным оттенку цвета сигнала. Модуль 18 определения светофоров определяет то, что светофор присутствует в позиции синхронизированного пиксела, когда оттенок синхронизированного пиксела является аналогичным оттенку цвета сигнала.

[0016] Виды электрического освещения, которые загораются посредством приема подачи электроэнергии из сети общего пользования, включает в себя не только сигнальные лампы светофоров, но также и другие виды электрического освещения, которые загораются на дороге, такие как уличный светильник 31a, торговый автомат 31b и вывеска 31c. Синхронизированные пикселы, извлеченные посредством модуля 15 формирования синхронизированных изображений, могут включать в себя пикселы, извлеченных из этих других видов электрического освещения. Посредством определения посредством модуля 18 определения светофоров подобия в оттенке между синхронизированными пикселами и цветами сигнала, можно исключать эти другие виды электрического освещения из результата извлечения, выполненного посредством модуля 15 формирования синхронизированных изображений.

[0017] Здесь, модуль 18 определения светофоров может быть выполнен с возможностью определять то, присутствует или нет светофор, с использованием позиции в изображениях и яркости синхронизированного пиксела, вместо использования модуля определения оттенка, который определяет то, является или нет оттенок синхронизированного пиксела аналогичным оттенку цвета сигнала. Посредством определения позиций светофоров в изображениях из картографической информации по окрестности транспортного средства и сопоставления определенных позиций с позицией синхронизированного пиксела, можно исключать эти другие виды электрического освещения. Помимо этого, посредством оценки яркости светофора в изображениях из расстояния от транспортного средства до светофора, также можно определять то, что светофор присутствует в синхронизированном пикселе, имеющем яркость в пределах оценки.

[0018] Модуль 12 обнаружения светофоров выводит в CPU 13 транспортного средства позиционную информацию синхронизированного пиксела, в котором модуль 18 определения светофоров определяет то, что светофор присутствует.

[0019] Со ссылкой на фиг. 2, ниже описываются подробные конфигурации модуля 17 формирования опорных сигналов, модуля 15 формирования синхронизированных изображений и модуля 16 регулирования фазы. Модуль 17 формирования опорных сигналов, например, задает три опорных сигнала (L01, L02, L03), фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофоры, на три. Циклы опорных сигналов (L01, L02, L03) равны циклам мощности переменного тока, подаваемой в светофоры, но их фазы отличаются. Относительно опорного сигнала L01, фаза опорного сигнала L02 сдвигается на 120°, и фаза опорного сигнала L03 сдвигается на 240°. Пример опорных сигналов (L01, L02, L03) проиллюстрирован на фиг. 3.

[0020] Модуль 15 формирования синхронизированных изображений включает в себя запоминающее устройство 25 и модули (26a, 26b, 26c) умножения. Запоминающее устройство 25 сохраняет последовательность из нескольких изображений 28, снятых камерой (кадров) за раз. Например, запоминающее устройство 25 сохраняет несколько изображений 28, снятых камерой, за раз, которые захватываются в течение одного цикла переменного тока электроэнергии, подаваемой в светофоры. Модули (26a, 26b, 26c) умножения умножают между собой сигнал яркости каждого пиксела изображений, снятых камерой, считываемых из запоминающего устройства 25, и каждый из опорных сигналов (L01, L02, L03) и формируют три синхронизированных изображения (G01, G02, G03). Модули 26 умножения выполняют вышеуказанное умножение для каждого из нескольких изображений, снятых камерой, сохраненных одновременно в запоминающем устройстве 25.

[0021] Модуль 16 регулирования фазы включает в себя модуль 27 определения синхронизированных изображений, который определяет синхронизированное изображение, имеющее наибольшее выходное значение обнаружения из трех синхронизированных изображений (G01, G02, G03), сформированных посредством умножения с опорными сигналами (L01, L02, L03), соответственно. Выходное значение обнаружения является, например, средним значением яркости синхронизированного пиксела.

[0022] Когда фаза опорного сигнала совпадает с фазой мощности переменного тока, подаваемой в светофоры, значение яркости синхронизированного пиксела и среднее значение (выходное значение обнаружения) яркости синхронизированного пиксела являются наибольшими значениями. С другой стороны, чем больше фаза опорного сигнала сдвигается от фазы электроэнергии, подаваемой в светофоры, тем меньше должно становиться значение яркости синхронизированного пиксела и среднее значение (выходное значение обнаружения) яркости синхронизированного пиксела. Следовательно, можно определять то, что синхронизированное изображение, имеющее наибольшее выходное значение обнаружения из трех синхронизированных изображений (G01, G02, G03), сформированных с использованием опорного сигнала, имеющего фазу, которая является ближайшей к фазе электроэнергии, подаваемой в светофоры.

[0023] Таким образом, посредством определения посредством модуля 27 определения синхронизированных изображений синхронизированного изображения, имеющего наибольшее выходное значение обнаружения из трех синхронизированных изображений (G01, G02, G03), модуль 16 регулирования фазы может выбирать опорный сигнал L01, имеющий фазу, которая является ближайшей к фазе мощности переменного тока, из трех опорных сигналов (L01, L02, L03). Например, фиг. 4(a) иллюстрирует пример варьирований яркости синхронизированных изображений (G01, G02, G03). Из синхронизированных изображений (G01, G02, G03), выходное значение обнаружения синхронизированного изображения G01 превышает другие синхронизированные изображения (G02, G03). В этом случае, модуль 27 определения синхронизированных изображений выбирает синхронизированное изображение G01 в качестве синхронизированного изображения, имеющего наибольшее выходное значение обнаружения. Можно определять то, что фаза мощности переменного тока, подаваемой в светофоры, позиционируется в области R1 на фиг. 3.

[0024] Модуль 16 регулирования фазы регулирует фазы трех опорных сигналов таким образом, что выходные значения обнаружения синхронизированных изображений с использованием других невыбранных опорных сигналов равны друг другу, фазы которых сдвигаются на равную величину от выбранного опорного сигнала в положительном и отрицательном направлениях. Это позволяет регулировать фазу выбранного опорного сигнала до фазы мощности переменного тока.

[0025] В варианте осуществления, в качестве примера опорных сигналов, число которых является кратным числу три, задаются три опорных сигнала (L01, L02, L03), и выбирается опорный сигнал L01. Другие опорные сигналы, фазы которых сдвигаются на равную величину от опорного сигнала L01 в положительном и отрицательном направлениях, являются опорными сигналами (L02, L03). Синхронизированные изображения, полученные посредством выполнения процесса обнаружения для изображений, снятых камерой, с использованием опорных сигналов (L02, L03), представляют собой два синхронизированных изображения (G02, G03).

[0026] Соответственно, модуль 16 регулирования фазы сдвигает каждую фазу трех опорных сигналов (L01, L02, L03) на равное количество времени таким образом, что выходные значения обнаружения двух невыбранных синхронизированных изображений (G02, G03) становятся равными друг другу. Это позволяет модулю 16 регулирования фазы регулировать фазу выбранного опорного сигнала L01 до фазы мощности переменного тока, подаваемой в светофоры. Как результат, выходное значение обнаружения синхронизированного изображения G01, для которого процесс обнаружения выполняется с использованием опорного сигнала L01, становится наибольшим, и диапазон варьирования яркости синхронизированного изображения G01 также становится наибольшим.

[0027] Например, в примере, проиллюстрированном на фиг. 4(a), выходные значения обнаружения двух невыбранных синхронизированных изображений (G02, G03) отличаются друг от друга. Модуль 16 регулирования фазы обеспечивает опережение фаз опорных сигналов (L01, L02, L03) на 40°. Затем модули (26a, 26b, 26c) умножения выполняют процесс обнаружения синхронизации снова с использованием опорных сигналов (L01, L02, L03) после того, как выполнено регулирование фазы. Результат проиллюстрирован на фиг. 4(b). В примере, проиллюстрированном на фиг. 4(b), выходные значения обнаружения невыбранных синхронизированных изображений (G02, G03) равны друг другу. В этом случае фаза выбранного опорного сигнала L01 совпадает с фазой мощности переменного тока, подаваемой в светофоры, и выходное значение обнаружения синхронизированного изображения G01, полученного из процесса обнаружения с использованием опорного сигнала L01 и диапазона варьирования яркости синхронизированного изображения G01, является наибольшим.

[0028] По мере того как расстояние от транспортного средства до светофора становится большим, яркость сигнальной лампы, обнаруженная посредством модуля 11 захвата изображений, становится более низкой, и диапазон варьирования яркости становится меньшим. Чтобы разрешать это, посредством приближения фазы опорного сигнала к фазе варьирования яркости сигнальной лампы, т.е. к фазе электроэнергии, подаваемой в светофор, можно получать высокое выходное значение обнаружения, которое, в свою очередь, позволяет обнаруживать удаленный светофор с высокой точностью.

[0029] Далее, со ссылкой на фиг. 8 и 9 описывается модификация модуля 16 регулирования фазы. Для выходных значений обнаружения синхронизированных изображений (G02, G03), используемых для регулирования фазы, могут использоваться выходные значения обнаружения, полученные посредством выполнения процесса обнаружения для области в изображениях, снятых камерой, причем эта область имеет наибольший диапазон варьирования яркости.

[0030] Фиг. 8(a) является графиком, иллюстрирующим разность в диапазоне варьирования яркости в зависимости от расстояния от транспортного средства, а фиг. 8(b) является схемой, иллюстрирующей уличный светильник 31a, торговый автомат 31b и вывеску 31c в качестве примеров видов электрического освещения, расположенных около транспортного средства, а также иллюстрирующей светофоры 32 и 33, удаленные от транспортного средства. Фиг. 8(a) иллюстрирует варьирования яркости уличного светильника 31a и светофоров 32 и 33, проиллюстрированных на фиг. 8(b). Диапазоны варьирований яркости видов электрического освещения (уличного светильника 31a, торгового автомата 31b и вывески 31c), расположенных около транспортного средства, превышают диапазоны варьирований яркости удаленных светофоров (32, 33). Помимо этого, чем больше диапазон варьирования яркости, тем больше диапазон варьирования выходного значения обнаружения, полученный посредством сдвига фаз. Таким образом, повышается точность в регулировании фазы. По этой причине, модуль 16 регулирования фазы может использовать выходное значение обнаружения, полученное посредством выполнения процесса обнаружения для области в изображениях, снятых камерой, причем эта область имеет наибольший диапазон варьирования яркости.

[0031] Например, модуль 16 регулирования фазы определяет состояние дороги из текущей позиции транспортного средства и картографической информации области вокруг транспортного средства, которая может получаться из GPS-устройства и картографической базы данных. Например, модуль 16 регулирования фазы определяет то, форма дороги в направлении движения транспортного средства представляет собой прямую линию, как проиллюстрировано на фиг. 8(b), либо изгиб вправо или влево. Модуль 16 регулирования фазы также определяет то, движется или нет транспортное средство в туннеле, как проиллюстрировано на фиг. 9.

[0032] Модуль 16 регулирования фазы задает область изображения в каждом изображении, снятом камерой, на основе определенного состояния дороги. Например, когда форма дороги представляет собой прямую линию, модуль 16 регулирования фазы задает области (R2, R3), в которых обочины дороги для дороги захватываются в изображениях, снятых камерой, в качестве областей изображения, как проиллюстрировано на фиг. 8(b). Это приводит к тому, что области изображения включают в себя виды электрического освещения (31a, 31b, 31c), расположенные на обочине дороги для дороги. Дополнительно, когда транспортное средство движется в туннеле, модуль 16 регулирования фазы задает в изображениях, снятых камерой, область R4, в которой осветительные лампы 34, установленные на внутренней стенке туннеля, захватываются, в качестве области изображения, как проиллюстрировано на фиг. 9.

[0033] Затем модуль 16 регулирования фазы может выполнять регулирование фазы, описанное выше, с использованием выходных значений обнаружения, полученных посредством выполнения процесса обнаружения для областей (R2-R4) изображения изображений, снятых камерой. Фаза опорных сигналов может регулироваться с высокой точностью. Указание областей (R2-R4) изображения, относительно которых должен выполняться процесс обнаружения синхронизации, заранее, как описано выше, уменьшает вычислительную нагрузку процесса обнаружения синхронизации и повышает скорость обработки.

[0034] Альтернативно, модуль 16 регулирования фазы может выбирать пиксел, имеющий наибольший диапазон варьирования яркости из всех пикселов в изображениях, снятых камерой, и использовать выходное значение обнаружения, полученное посредством выполнения процесса обнаружения для выбранного пиксела. Это позволяет регулировать фазу опорных сигналов с высокой точностью без указания области изображения.

[0035] Модуль 16 регулирования фазы может использовать выходное значение обнаружения, полученное посредством выполнения процесса обнаружения для области, в которой диапазон варьирования яркости является наибольшим из изображения, как описано выше. Здесь, "область, в которой диапазон варьирования яркости является наибольшим из изображения", включает в себя области (R2-R4) изображения, описанные выше, и пикселы, выбранные посредством модуля 16 регулирования фазы.

[0036] Далее описывается пример способа обнаружения светофоров с использованием устройства обнаружения светофоров, проиллюстрированного на фиг. 1, со ссылкой на фиг. 5. Работа устройства обнаружения светофоров, проиллюстрированного на блок-схеме последовательности операций способа по фиг. 5, начинается, как только включается переключатель зажигания транспортного средства, и активируется устройство обнаружения светофоров, и она многократно выполняется до тех пор, пока устройство обнаружения светофоров не прекращает работу.

[0037] На этапе S01 модуль 11 захвата изображений многократно захватывает изображения окрестности транспортного средства и получает последовательность из нескольких изображений, снятых камерой. Модуль 11 захвата изображений захватывает изображения многократно в течение одного цикла мощности переменного тока, подаваемой в светофоры. Полученные данные изображений передаются в модуль 15 формирования синхронизированных изображений и временно сохраняются в запоминающем устройстве 25.

[0038] На этапе S03 модуль 17 формирования опорных сигналов задает три опорных сигнала (L01, L02, L03), фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофоры, на три, как проиллюстрировано на фиг. 3.

[0039] На этапе S05 модуль 15 формирования синхронизированных изображений выполняет процесс обнаружения синхронизации для умножения каждого трех опорных сигналов (L01, L02, L03), заданных на этапе S03, и сигнала яркости каждого пиксела изображений, снятых камерой, между собой. Из этого процесса, соответственно, формируются синхронизированные изображения (G01, G02, G03), синхронизированные с опорными сигналами (L01, L02, L03).

[0040] На этапе S07 модуль 27 определения синхронизированных изображений выбирает синхронизированное изображение (G01), имеющее наибольшее выходное значение обнаружения из трех синхронизированных изображений (G01, G02, G03). Модуль 27 определения синхронизированных изображений, затем определяет то, меньше или нет разность (ΔD) между выходными значениями обнаружения оставшихся двух синхронизированных изображений (G02, G03) предварительно определенного порогового значения (Th). Когда разность (ΔD) между выходными значениями обнаружения меньше предварительно определенного порогового значения (Th) ("Да" на S07), модуль 27 определения синхронизированных изображений определяет то, что регулирование фазы не требуется, поскольку фаза опорного сигнала L01 совпадает с фазой мощности переменного тока, и обработка переходит к этапу S15.

[0041] С другой стороны, когда разность (ΔD) между выходными значениями обнаружения превышает или равна предварительно определенному пороговому значению (Th) ("Нет" на S07), модуль 27 определения синхронизированных изображений определяет то, что регулирование фазы требуется, поскольку имеется отклонение между фазой опорного сигнала L01 и фазой мощности переменного тока, и обработка переходит к этапу S09. Модуль 16 регулирования фазы сравнивает выходные значения обнаружения невыбранных двух синхронизированных изображений (G02, G03) и определяет направление регулирования фазы. Обработка переходит к этапу S11, на котором модуль 16 регулирования фазы сдвигает фазы опорных сигналов (L01, L02, L03) на предварительно определенную величину (Δθ) сдвига в направлении регулирования фазы. Обработка переходит к этапу S13, на котором модуль 27 определения синхронизированных изображений определяет то, меньше или нет разность (ΔD) между выходными значениями обнаружения предварительно определенного порогового значения (Th), аналогично этапу S07. Модуль 16 регулирования фазы повторяет процессы (S11, S13) сдвига фаз до тех пор, пока разность (ΔD) между выходными значениями обнаружения не станет меньше предварительно определенного порогового значения (Th).

[0042] В частности, посредством сдвига фаз из выбранного опорного сигнала L01 в направлении опорного сигнала для любого из двух невыбранных опорных сигналов (L02, L03), для которого получено большее выходное значение обнаружения, можно задавать выходные значения обнаружения невыбранных синхронизированных изображений равными друг другу. В примере на фиг. 4(a), выходное значение обнаружения синхронизированного изображения G03 превышает выходное значение обнаружения синхронизированного изображения G02. Следовательно, посредством сдвига фаз в направлении от опорного сигнала L01 к опорному сигналу L03, можно формировать разность (ΔD) между выходными значениями обнаружения, меньшими предварительно определенного порогового значения (Th), как проиллюстрировано на фиг. 4(b).

[0043] Как описано выше, в варианте осуществления, фаза выбранного опорного сигнала L01 регулируется до фазы варьирования яркости сигнальной лампы посредством использования выходных значений обнаружения невыбранных двух синхронизированных изображений (G02, G03).

[0044] После того как завершается регулирование фазы, обработка переходит к этапу S15, на котором модуль 15 формирования синхронизированных изображений выполняет процесс обнаружения синхронизации для умножения между собой изображений, снятых камерой, и опорного сигнала L01 после того, как выполнено регулирование фазы. Это позволяет извлекать синхронизированный пиксел с яркостью, которая варьируется синхронно с опорным сигналом, имеющим фазу, отрегулированную до фазы мощности переменного тока, из изображений, снятых камерой, с высокой чувствительностью.

[0045] Обработка переходит к этапу S17, на котором модуль 18 определения светофоров определяет то, является или нет оттенок синхронизированного пиксела, извлеченного посредством модуля 15 формирования синхронизированных изображений, аналогичным оттенку цвета сигнала. Если оттенок синхронизированного пиксела является аналогичным оттенку цвета сигнала, можно определять то, что светофор присутствует в позиции синхронизированного пиксела. Следовательно, обработка переходит к S21, и модуль 18 определения светофоров помечает синхронизированный пиксел в качестве светофора. С другой стороны, если оттенок синхронизированного пиксела не является аналогичным оттенку цвета сигнала ("Нет" на S17), можно определять то, что один из других видов электрического освещения присутствует в позиции синхронизированного пиксела вместо сигнальной лампы. Следовательно, обработка переходит к S19, и модуль 18 определения светофоров помечает синхронизированный пиксел в качестве одного из других видов электрического освещения.

[0046] Обработка переходит к этапу S23, на котором модуль 18 определения светофоров определяет то, выполнены или нет определения для всех синхронизированных пикселов, извлеченных на этапе S15, в отношении того, указывает или нет каждый пиксел светофор. Если все определения еще не закончены ("Нет" на S23), обработка возвращается к этапу S17, и процессы определения оттенка (S17 на S21) выполняются для оставшихся синхронизированных пикселов. Если все определения закончены ("Да" на S23), обработка на блок-схеме последовательности операций способа на фиг. 5 завершается.

[0047] Как описано выше, следующая работа и преимущества может получаться согласно варианту осуществления.

[0048] Согласно патентному документу 1, область с оттенком, аналогичным оттенку сигнальной лампы, извлекается из изображений, снятых камерой, и возможный вариант для сигнальной лампы обнаруживается на основе округлости извлеченной области. Когда округлость используется для того, чтобы определять то, присутствует или нет сигнальная лампа, область (пиксельная группа 53a) должна включать в себя примерно идентичное число пикселов, как проиллюстрировано на фиг. 6(a). С другой стороны, в устройстве обнаружения светофоров согласно варианту осуществления, для светофора, расположенного слишком далеко, чтобы обнаруживать фазу и ее цикл, и диапазон варьирования яркости светофора является небольшим, задаются опорные сигналы, число которых является кратным числу три, и фаза опорного сигнала, которая является ближайшей к фазе мощности переменного тока, выбирается и регулируется до цикла переменного тока, как описано выше. Как результат, можно быстро извлекать синхронизированный пиксел с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры, в качестве возможного варианта сигнальной лампы. Это позволяет определять то, указывают или нет синхронизированные пикселы 53b сигнальную лампу, даже если число синхронизированных пикселов 53b является слишком небольшим для того, чтобы определять округлость, как проиллюстрировано на фиг. 6(b). Другими словами, устройство обнаружения светофоров согласно варианту осуществления обнаруживает удаленный светофор с высокой точностью.

[0049] Посредством извлечения из изображений, снятых камерой, синхронизированных пикселов с яркостью, которая варьируется синхронно с циклом мощности переменного тока, подаваемой в светофоры, можно обнаруживать светофор без учета размера или формы сигнальной лампы. Соответственно, можно обнаруживать даже удаленный светофор с высокой точностью, даже если размер изображения светофора является слишком небольшим для того, чтобы определять округлость.

[0050] Поскольку мощность переменного тока, подаваемая в светофоры, представляет собой мощность трехфазного переменного тока, фаза мощности переменного тока варьируется в зависимости от оборудования преобразователя. По этой причине, задаются опорные сигналы, число которых является кратным числу три, и фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока на кратное числу три, и фаза опорного сигнала, которая является ближайшей к фазе мощности переменного тока, выбирается и регулируется до фазы мощности переменного тока. Как результат, можно извлекать синхронизированный пиксел, варьирование яркости которого является небольшим, с высокой чувствительностью посредством использования опорного сигнала, совпадающего с фазой мощности переменного тока, подаваемой в светофоры. Таким образом, можно обнаруживать даже удаленный светофор, варьирование яркости которого является небольшим.

[0051] Фаза мощности трехфазного переменного тока может сдвигаться на время, полученное посредством деления цикла мощности переменного тока на три, в зависимости от состояния оборудования преобразователя и т.п. В варианте осуществления, модуль 17 формирования опорных сигналов выбирает опорные сигналы, число которых является кратным числу три, и фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока на кратное числу три. Когда фаза мощности переменного тока, подаваемой в светофоры в области вокруг транспортного средства, изменяется в силу движения транспортного средства, опорные сигналы переключаются между опорными сигналами, число которых является кратным числу три, и которые заданы посредством модуля 17 формирования опорных сигналов. Это позволяет выбирать опорный сигнал, соответствующий фазе мощности переменного тока после изменения, без регулирования фазы посредством модуля 16 регулирования фазы.

[0052] Модуль 16 регулирования фазы сдвигает каждого фазы трех опорных сигналов (L01, L02, L03) на равное количество времени таким образом, что выходные значения обнаружения, полученные посредством выполнения процесса обнаружения для изображений, снятых камерой, с использованием каждого из других опорных сигналов (L02, L03) становятся равными друг другу, причем фазы других опорных сигналов (L02, L03) сдвигаются на равную величину от выбранного опорного сигнала L01 в положительном и отрицательном направлениях. Это позволяет регулировать фазу выбранного опорного сигнала L01 до фазы мощности переменного тока. Как результат, выходное значение обнаружения синхронизированного изображения G01, для которого процесс обнаружения выполняется с использованием опорного сигнала L01, становится наибольшим, и диапазон варьирования яркости синхронизированного изображения G01 также становится наибольшим.

[0053] Модуль 16 регулирования фазы может выполнять регулирование фазы с использованием выходного значения обнаружения, полученного посредством выполнения процесса обнаружения для области в изображениях, снятых камерой, причем эта область имеет наибольший диапазон варьирования яркости. Чем больше диапазон варьирования яркости, тем больше диапазон варьирования выходного значения обнаружения, полученный посредством сдвига фаз. Таким образом, повышается точность в регулировании фазы.

[0054] Модуль 16 регулирования фазы может использовать выходное значение обнаружения, полученное посредством выполнения процесса обнаружения для областей, в которых обочины дороги для дороги захватываются в изображениях, снятых камерой. Диапазоны варьирований яркости видов электрического освещения, расположенных на обочине дороги для дороги, включающих в себя вывеску, торговый автомат и уличный светильник, превышают диапазоны варьирований яркости удаленного светофора. Следовательно, модуль 16 регулирования фазы использует выходные значения обнаружения, полученные посредством выполнения процесса обнаружения для областей (R2, R3) в изображениях, снятых камерой, в которых захватываются обочины дороги. Это позволяет регулировать фазу выбранного опорного сигнала до фазы мощности переменного тока с высокой точностью.

[0055] Когда транспортное средство движется в туннеле, в общем, имеются осветительные лампы, установленные на внутренней стенке туннеля, вместо видов электрического освещения, включающих в себя вывеску, торговый автомат и уличный светильник, на обочине дороги для дороги. Следовательно, модуль 16 регулирования фазы может использовать выходное значение обнаружения, полученное посредством выполнения процесса обнаружения для области R4 в изображениях, снятых камерой, в которых захватываются осветительные лампы 34, установленные на внутренней стенке туннеля. Это позволяет регулировать фазу выбранного опорного сигнала до фазы мощности переменного тока с высокой точностью.

[0056] Хотя упомянут вариант осуществления настоящего изобретения, как описано выше, не следует понимать, что формулировки и чертежи в качестве части раскрытия сущности ограничивают настоящее изобретение. Из этого раскрытия сущности, различные модифицированные варианты осуществления, примеры и технологии работы должны становиться очевидными для специалистов в данной области техники.

[0057] Три опорных сигнала (L01, L02, L03), фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока на три, примерно иллюстрируются в качестве "опорных сигналов, число которых является кратным числу три, и фазы которых сдвигаются относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофоры, на кратное числу три". Число опорных сигналов, конечно, может составлять шесть, девять, двенадцать и т.д., помимо трех.

[0058] Фиг. 7 иллюстрирует пример выходных значений обнаружения шести синхронизированных изображений (G01-G06), полученных из шести опорных сигналов. Из этих шести синхронизированных изображений, выходное значение обнаружения синхронизированного изображения G03 является наибольшим. Помимо этого, выходные значения обнаружения, соответствующие парам других опорных сигналов, фазы которых сдвигаются на равную величину в положительном и отрицательном направлениях от опорного сигнала, соответствующего синхронизированному изображению G03, почти равны друг другу. В частности, выходные значения обнаружения G02 и G04 почти равны, и выходные значения обнаружения G01 и G05 почти равны. Следовательно, в примере по фиг. 7, можно определять то, что опорный сигнал, соответствующий синхронизированному изображению G03, совпадает с фазой мощности переменного тока.

Список условных обозначений

[0059] 11 - модуль захвата изображений

12 - модуль обнаружения светофоров

15 - модуль формирования синхронизированных изображений (модуль извлечения синхронизированных пикселов)

16 - модуль регулирования фазы

17 - модуль формирования опорных сигналов

18 - модуль определения светофоров

28 - изображение, снятое камерой (изображение)

33, 32 - светофор

53b - синхронизированный пиксел

R2-R4 - область изображения

L01, L02, L03 - опорный сигнал

Изобретение относится к устройству обнаружения светофоров и к способу обнаружения светофоров. Устройство обнаружения светофоров включает в себя модуль (11) захвата изображений, выполненный с возможностью захватывать изображение в направлении движения транспортного средства, и модуль (12) обнаружения светофоров, выполненный с возможностью обнаруживать светофор из изображения. Модуль (12) обнаружения светофоров задает опорные сигналы (L01-L03), число которых является кратным числу три и фазы которых смещены относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофор, на кратное числу три, и регулирует фазу опорного сигнала (L01), которая является ближайшей к фазе мощности переменного тока, до фазы мощности переменного тока. Модуль (12) обнаружения светофоров извлекает из изображения синхронизированный пиксель (53b) с яркостью, которая варьируется синхронно с опорным сигналом (L01), имеющим фазу, отрегулированную до фазы мощности переменного тока, и определяет то, что светофор присутствует в позиции синхронизированного пикселя. Обеспечивается обнаружение светофора с дальнего расстояния с высокой точностью. 2 н. и 5 з.п. ф-лы. 9 ил.

1. Устройство обнаружения светофоров, содержащее:

модуль (11) захвата изображений, смонтированный на транспортном средстве и выполненный с возможностью захватывать изображение окрестности транспортного средства; и

модуль (12) обнаружения светофоров, выполненный с возможностью обнаруживать светофор (32, 33) из изображения, при этом

модуль (12) обнаружения светофоров включает в себя:

модуль (16) формирования опорных сигналов, выполненный с возможностью задавать опорные сигналы (L01, L02, L03), число которых является кратным числу три и фазы которых смещены относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофор (32, 33), на кратное числу три,

модуль (16) регулирования фазы, выполненный с возможностью выбирать из опорных сигналов (L01, L02, L03), число которых является кратным числу три, опорный сигнал, имеющий фазу, ближайшую к фазе мощности переменного тока, и регулировать фазу опорного сигнала до фазы мощности переменного тока,

модуль (15) извлечения синхронизированных пикселов, выполненный с возможностью извлекать из изображения синхронизированный пиксел (53b) с яркостью, которая варьируется синхронно с опорным сигналом, имеющим фазу, отрегулированную до фазы мощности переменного тока, и

модуль (18) определения светофоров, выполненный с возможностью определять, из синхронизированного пиксела (53b), то, присутствует или нет светофор (32, 33).

2. Устройство обнаружения светофоров по п. 1, в котором:

модуль (15) извлечения синхронизированных пикселов извлекает синхронизированные изображения (G01, G02, G03), соответственно, с использованием других опорных сигналов (L01, L02, L03), фазы которых смещены на равную величину от выбранного опорного сигнала в положительном и отрицательном направлениях, и

модуль (16) регулирования фазы регулирует фазы опорных сигналов (L01, L02, L03), число которых является кратным числу три, таким образом, что выходные значения обнаружения синхронизированных изображений с использованием других опорных сигналов становятся равными друг другу.

3. Устройство обнаружения светофоров по п. 2, в котором:

модуль (16) регулирования фазы получает выходные значения обнаружения посредством выполнения процесса обнаружения для области, в которой диапазон варьирования яркости является наибольшим в изображении.

4. Устройство обнаружения светофоров по п. 2 или 3, в котором:

модуль (16) регулирования фазы получает выходные значения обнаружения посредством выполнения процесса обнаружения для области в изображении, в которой захватывается обочина дороги.

5. Устройство обнаружения светофоров по п. 2 или 3, в котором:

когда транспортное средство движется в туннеле, модуль (16) регулирования фазы получает выходные значения обнаружения посредством выполнения процесса обнаружения для области в изображении, в которой захватывается осветительная лампа (34), установленная на внутренней стенке туннеля.

6. Устройство обнаружения светофоров по любому из пп. 1-3, в котором:

модуль (18) определения светофоров включает в себя модуль определения оттенков, выполненный с возможностью определять то, является или нет оттенок синхронизированного пиксела (53b) аналогичным оттенку цвета сигнала, и

модуль (18) определения светофоров определяет то, что светофор (32, 33) присутствует в позиции синхронизированного пиксела (53b), когда оттенок синхронизированного пиксела (53b) является аналогичным оттенку цвета сигнала.

7. Способ обнаружения светофоров, содержащий этапы, на которых:

захватывают изображение в направлении движения транспортного средства;

задают опорные сигналы (L01, L02, L03), число которых является кратным числу три и фазы которых смещены относительно друг друга на время, полученное посредством деления цикла мощности переменного тока, подаваемой в светофор (32, 33), на кратное числу три;

выбирают из опорных сигналов (L01, L02, L03), число которых является кратным числу три, опорный сигнал, имеющий фазу, ближайшую к фазе мощности переменного тока, и регулируют фазу опорного сигнала до фазы мощности переменного тока;

извлекают из изображения синхронизированный пиксел (53b) с яркостью, которая варьируется синхронно с опорным сигналом, имеющим фазу, отрегулированную до фазы мощности переменного тока; и

определяют, из синхронизированного пиксела (53b), то, присутствует или нет светофор (32, 33).