СПОСОБ РАСПОЗНАВАНИЯ СВЕТОФОРА И УСТРОЙСТВО РАСПОЗНАВАНИЯ СВЕТОФОРА Российский патент 2022 года по МПК G08G1/00 G08G1/09 G08G1/16 G06K9/00 H04N7/18 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к способу распознавания светофора и устройству распознавания светофора.

УРОВЕНЬ ТЕХНИКИ

[0002] В соответствии с патентным документом 1, чтобы избежать ситуации, в которой светофор, управляемый для свечения, ошибочно определяется как управляемый для выключения или мигания, предлагается способ, в котором определяют, что светофор выключен или мигает на основе превышает ли количество захваченных изображений, определенных как выключенный светофор, среди заданного количества последовательных захваченных изображений, пороговое значение.

СПИСОК ЦИТИРУЕМЫХ ДОКУМЕНТОВ

ПАТЕНТНЫЙ ДОКУМЕНТ

[0003] Патентный документ 1: Патентная публикация № 6228492

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] Однако в соответствии со способом, описанным в патентном документе 1, если состояние отображения светофора определяется путем обращения к множеству изображений, расположенных во временной последовательности, чтобы повысить точность распознавания изображений, существует время задержки между фактическим переходом световой индикации светофора и началом процесса, соответствующего световой индикации, после перехода при переходе световой индикации с «зеленого сигнала» (цветового сигнала, означающего «транспортное средство может двигаться») на цветовой сигнал, отличный от «зеленого сигнала».

[0005] Настоящее изобретение было выполнено с учетом вышеупомянутых проблем, и цель настоящего изобретения состоит в том, чтобы предоставить способ распознавания светофора и устройство распознавания светофора, способные определять состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознавать светофор, подавляя при этом время задержки от фактического перехода состояния отображения светофора до начала обработки, соответствующей состоянию отображения после перехода.

РЕШЕНИЕ ЗАДАЧИ

[0006] Чтобы решить вышеупомянутые проблемы, способ распознавания светофора и устройство распознавания светофора в соответствии с аспектом настоящего изобретения получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения, если конкретный результат определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, является результатом определения, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения, если конкретный результат определения отличается от результата определения, что состояние отображения является отображением разрешения, и выводят конкретный результат определения, если число результатов определения, идентичных конкретному результату определения, больше числового порогового значения.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0007] Согласно настоящему изобретению возможно определить состояние отображения светофора посредством обращения к множеству изображений, расположенных в порядке временной последовательности, и распознавания светофора, подавляя при этом время задержки от фактического перехода состояния отображения светофора до начала обработки, соответствующей состоянию отображения после перехода.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008]

[Фиг. 1] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно варианту осуществления настоящего изобретения.

[Фиг. 2] Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.

[Фиг. 3] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно варианту осуществления настоящего изобретения.

[Фиг. 4] Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности.

[Фиг. 5A] Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.

[Фиг. 5B] Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0009] Далее будут подробно описаны варианты осуществления настоящего изобретения со ссылкой на чертежи. В описании одни и те же элементы обозначены одними и теми же ссылочными позициями, и дублирующееся описание будет опущено.

[0010] [Конфигурация устройства распознавания светофора]

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофора согласно настоящему варианту осуществления. Как показано на фиг. 1, устройство распознавания светофора в соответствии с настоящим вариантом осуществления включает в себя блок 71 формирования изображения и контроллер 100, и контроллер 100 соединен с блоком 71 формирования изображения, датчиком 73 в транспортном средстве, блоком 75 получения картографической информации и устройством 400 управления транспортным средством по проводному или беспроводному каналу связи.

[0011] Здесь блок 71 формирования изображения, датчик 73 в транспортном средстве и устройство 400 управления транспортным средством установлены на транспортном средстве (не показано), но блок 75 получения картографической информации и контроллер 100 могут быть установлены на транспортном средстве или могут быть установлены вне транспортного средства.

[0012] Блок 71 формирования изображения захватывает изображение транспортного средства в направлении движения. Например, блок 71 формирования изображения представляет собой цифровую камеру, снабженную твердотельным датчиком изображения, таким как ПЗС или КМОП, и формирует изображение окружения транспортного средства для захвата цифрового изображения периферийной области транспортного средства. Блок 71 формирования изображения формирует изображения в заданном диапазоне вокруг транспортного средства посредством установки фокусного расстояния, угла обзора объектива, вертикального и горизонтального углов камеры и т.п.

[0013] Изображение, захваченное блоком 71 формирования изображения, выводится на контроллер 100 и сохраняется в блоке памяти (не показан) в течение заданного периода времени. Например, блок 71 формирования изображения захватывает изображения в заданные интервалы времени, и изображения, захваченные в заданные интервалы времени, сохраняются в блоке памяти как прошлые изображения. Прошлое изображение может быть удалено по истечении заданного периода с момента захвата прошлого изображения.

[0014] Датчик 73 в транспортном средстве включает в себя датчик обнаружения объекта, установленный на транспортном средстве, такой как лазерный радар, радар миллиметрового диапазона и камера, который обнаруживает объект, существующий вокруг транспортного средства. Датчик 73 в транспортном средстве может включать в себя множество различных типов датчиков обнаружения объекта.

[0015] Датчик 73 в транспортном средстве обнаруживает окружающую среду вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать движущийся объект, включая другое транспортное средство, мотоцикл, велосипед, пешехода, и неподвижный объект, включая остановившееся транспортное средство, а также местоположение, позицию, размер, скорость, ускорение, замедление, скорость рыскания и т. д. движущегося объекта и неподвижного объекта по отношению к транспортному средству. Датчик 73 в транспортном средстве может выводить, например, поведение двухмерного объекта в зенитном ракурсе (также называемом видом сверху), наблюдаемом с воздуха над транспортным средством, в качестве результата обнаружения. Кроме того, датчик 73 в транспортном средстве может обнаруживать знак (дорожный знак или знак, отображенный на поверхности дороги), направляющий рельс и т.п., существующие вокруг транспортного средства. Кроме того, датчик 73 в транспортном средстве может обнаруживать скользкость дорожного покрытия на полосе движения, по которой движется транспортное средство, посредством обнаружения скорости вращения и разницы в скорости вращения колес, обеспеченных в транспортном средстве.

[0016] Кроме того, датчик 73 в транспортном средстве обнаруживает состояние транспортного средства в дополнение к окружающей среде вокруг транспортного средства. Например, датчик 73 в транспортном средстве может обнаруживать скорость движения транспортного средства (скорость движения в направлении вперед-назад, направление влево-вправо, скорость поворота), угол поворота колес, обеспеченных в транспортном средстве, и изменение скорости угла поворота.

[0017] Кроме того, датчик 73 в транспортном средстве может измерять абсолютное положение транспортного средства, то есть местоположение, угловое пространственное положение и скорость транспортного средства относительно заданной опорной точки, с помощью датчика определения положения, который измеряет абсолютное положение транспортного средства, такого как GPS (глобальная система позиционирования) и одометр.

[0018] Блок 75 получения картографической информации получает картографическую информацию, указывающую структуру дороги, по которой движется транспортное средство. Картографическая информация, полученная блоком 75 получения картографической информации, включает в себя информацию о структуре дороги, такую как абсолютные положения полос движения, отношения соединения полос движения и относительные взаимные расположения. Кроме того, картографическая информация, полученная блоком 75 получения картографической информации, может включать в себя информацию об объекте, такую как место стоянки транспортных средств и заправочная станция. Кроме того, картографическая информация может включать в себя информацию о местоположении светофора, типе светофора, местоположении стоп-линии, соответствующей светофору, и т.п. Блок 75 получения картографической информации может обладать картографической базой данных, в которой хранится картографическая информация, или может получать картографическую информацию с внешнего сервера картографических данных с помощью облачных вычислений. Кроме того, блок 75 получения картографической информации может получать картографическую информацию, используя связь транспортное средство-транспортное средство и связь дорога-транспортное средство.

[0019] Устройство 400 управления транспортным средством управляет транспортным средством (не показано) на основе результата распознавания светофора, полученного контроллером 100. Например, устройство 400 управления транспортным средством может управлять транспортным средством посредством автоматического вождения в соответствии с заданным маршрутом движения или может поддерживать операцию вождения находящихся в транспортном средстве людей. Кроме того, устройство 400 управления транспортным средством может быть устройством уведомления, которое уведомляет находящихся в транспортном средстве людей о результате распознавания светофора.

[0020] Контроллер 100 (пример блока управления или блока обработки) представляет собой микрокомпьютер общего назначения, включающий в себя ЦП (центральный процессор), память и блок ввода/вывода. Компьютерная программа (программа распознавания светофора) для работы в качестве устройства распознавания светофора установлена в контроллере 100. Выполняя компьютерную программу, контроллер 100 функционирует как множество схем обработки информации (150, 155, 160, 180, 190), включенных в устройство распознавания светофора.

[0021] Здесь показан пример, в котором множество схем обработки информации (150, 155, 160, 180, 190), включенных в устройство распознавания светофора, реализуются программным обеспечением. Однако также возможно сконфигурировать схемы обработки информации (150, 155, 160, 180, 190), подготовив специальное аппаратное обеспечение для выполнения каждой из следующей обработки информации. Кроме того, множество схем обработки информации (150, 155, 160, 180, 190) могут быть сконфигурированы отдельным аппаратным обеспечением. Кроме того, схема обработки информации (150, 155, 160, 180, 190) также может использоваться в качестве электронного блока управления (ЭБУ), используемого для другого управления, относящегося к транспортному средству.

[0022] Контроллер 100, в качестве множества схем обработки информации (150, 155, 160, 180, 190), включает в себя блок 150 определения, блок 155 хранения результатов определения, блок 180 установки порогового значения, блок 190 принятия решения о выводе и блок 160 вывода.

[0023] Блок 150 определения устанавливает область обнаружения, соответствующую светофору, на изображении, захваченном блоком 71 формирования изображения. Здесь «область обнаружения» означает область на изображении, где предположительно присутствует светофор. Местоположение светофора, отраженного в диапазоне формирования изображения на изображении, может быть оценено на основе направления формирования изображения блока 71 формирования изображения, местоположения и ориентации транспортного средства во время формирования изображения и местоположения светофора. Блок 150 определения задает, например, частичную область захваченного изображения в качестве области обнаружения, причем область включает в себя предполагаемое местоположение светофора на изображении.

[0024] Блок 150 определения выполняет обработку изображения в области обнаружения, обнаруживает светофор в области обнаружения и определяет состояние отображения светофора. Блок 150 определения обнаруживает светофор, например, путем сопоставления с шаблоном. При сопоставлении с шаблоном в качестве шаблона используется стандартное изображение светофора, а область обнаружения сканируется при смещении изображения на один пиксель за раз, и, например, вычисляется корреляция распределения яркости. Затем, когда корреляция достигает наибольшего значения, обнаруживается, что светофор находится в том местоположении на изображении, где расположен шаблон.

[0025] «Цветовой сигнал», указываемый светофором, включает в себя «зеленый сигнал», «желтый сигнал» и «красный сигнал». Значение «цветового сигнала» определяется правилами дорожного движения, которым должно следовать транспортное средство. Например, «зеленый сигнал» означает «можно проезжать», а «красный сигнал» означает «остановиться в местоположении остановки». «Желтый сигнал» означает «остановиться в местоположении остановки, за исключением случаев, когда невозможно безопасно остановиться из-за близости к местоположению остановки».

[0026] Такое различение «зеленого сигнала», «желтого сигнала» и «красного сигнала» может быть выполнено таким образом, что оценивается, что светится «цветовой сигнал», имеющий самый высокий уровень яркости среди трех «цветовых сигналов».

[0027] Кроме того, светофор может указывать не только «цветовой сигнал», но и «сигнал стрелки», указывающий направление, разрешенное для движения транспортного средства на перекрестке, где установлен светофор. Например, «сигнал стрелки» является «сигналом правого поворота», «сигналом прямого движения» и/или «сигналом левого поворота».

[0028] «Сигнал стрелки» не ограничен «сигналом правого поворота», «сигналом прямого движения» и «сигналом левого поворота», и могут быть рассмотрены различные варианты в зависимости от структуры перекрестка, на котором установлен светофор. Значение «сигнала стрелки» определяется правилами дорожного движения, которым должно следовать транспортное средство.

[0029] Блок 150 определения выполняет обработку изображения в области обнаружения и определяет состояние свечения «цветового сигнала» и «сигнала стрелки» светофора как состояние отображения светофора.

[0030] Обработка изображения обнаружения светофора блоком 150 определения может использовать машинное обучение, такое как машина опорных векторов или нейронная сеть. При обнаружении светофора скорость распознавания можно повысить, подготовив обучающую базу данных, в которой заранее хранятся шаблоны светофоров разных размеров, и используя обучающую базу данных для обращения к ней в зависимости от расстояния до светофора.

[0031] Блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения. В частности, блок 150 определения последовательно определяет множество изображений, полученных блоком 71 формирования изображения, в порядке временной последовательности, и блок 155 хранения результатов определения последовательно получает полученные результаты определения от блока 150 определения. Затем блок 155 хранения результатов определения сохраняет множество результатов определения в порядке временной последовательности в виде последовательности результатов.

[0032] Структура последовательности результатов, сохраняемая блоком 155 хранения результатов определения, будет описана со ссылкой на фиг. 4. Фиг. 4 является схемой, иллюстрирующей пример последовательности результатов, состоящей из множества результатов определения в порядке временной последовательности. Далее для упрощения пояснения предполагается, что существует четыре типа результатов определения, получаемых блоком 150 определения, и четыре типа являются «зеленым сигналом», «желтым сигналом», «красным сигналом» и «неизвестно» (результат определения того, что состояние отображения неизвестно). На фиг. 4 результаты определения «зеленый сигнал», «желтый сигнал», «красный сигнал» и «неизвестно» обозначены символами «G», «Y», «R» и «-» соответственно.

[0033] Причина, по которой результат определения блоком 150 определения является «неизвестно», заключается, например, в том, что светофор мерцает из-за явления мерцания, при котором яркость захваченного изображения изменяется в зависимости от времени формирования изображения блоком 71 формирования изображения, когда лампа светофора представляет собой лампу, которая периодически мигает, как светодиодная лампа, и/или из-за явления скользящего затвора, при котором время формирования изображения смещается для каждого положения в захваченном изображении из-за способа формирования изображения в блоке 71 формирования изображения.

[0034] Число N результатов определения, сохраненных блоком 155 хранения результатов определения, предварительно задано. То есть число N результатов определения, составляющих последовательность результатов, предварительно задано как заданное число, превышающее числовое пороговое значение NC.

[0035] Индексы от 0 до N-1 назначаются каждому из N результатов определения, сохраненных блоком 155 хранения результатов определения. Здесь результатом определения индекса 0 является самый последний результат определения, полученный блоком 150 определения, и по мере увеличения числа индексов, присвоенных результату определения, результат определения становится старше по порядку.

[0036] Когда один новый результат определения вводится в блок 155 хранения результатов определения, блок 155 хранения результатов определения увеличивает индекс, присвоенный результату определения, на 1 и добавляет индекс 0 новому результату определения, введенному в блок 155 хранения результатов определения. Результат определения, в котором индекс равен N, удаляется.

[0037] Таким образом, блок 155 хранения результатов определения сохраняет результаты определения с индексами от 0 до N-1 в качестве последовательности результатов.

[0038] Кроме того, блок 155 хранения результатов определения может иметь функцию дополнения результатов определения. В частности, в случае, когда «неизвестно» включен в результаты определения, составляющие последовательность результатов, сохраненную в блоке 155 хранения результатов определения, результат определения «неизвестно» может быть заменен на основе результата определения непосредственно перед «неизвестно» и результата определения сразу после «неизвестно».

[0039] Например, в последовательности результатов, показанной на фиг. 4, результатом определения индекса 2 является «неизвестно». В этом случае блок 155 хранения результатов определения обращается к результату определения индекса 3 непосредственно перед результатом определения индекса 2 и результату определения индекса 1 сразу после результата определения индекса 2. Результат определения индекса 1 и результат определения индекса 3 являются «желтый сигнал». Следовательно, результат определения индекса 2 может быть заменен с «неизвестно» и может стать «желтым сигналом», который является результатом определения индекса 3 непосредственно перед результатом определения индекса 2.

[0040] Таким образом, блок 155 хранения результатов определения может извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения. Блок 155 хранения результатов определения может извлекать результат определения непосредственно перед первым результатом определения и результат определения непосредственно после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно. Блок 155 хранения результатов определения может заменить первый результат определения в последовательности результатов вторым результатом определения в случае, когда второй результат определения идентичен третьему результату определения.

[0041] В ситуации, когда блок 150 определения не может определить состояние отображения светофора из-за мерцания светофора, вышеупомянутая функция дополнения результата определения блоком 155 хранения результатов определения эффективна для повышения точности распознавания светофора.

[0042] В приведенном выше описании было указано, что число результатов определения, сохраненных в блоке 155 хранения результатов определения, равно N, но настоящее изобретение не ограничено этим.

[0043] Например, блок 155 хранения результатов определения может определять, следует ли сохранять результат определения, на основе времени формирования изображения, которое является источником результата определения, вместо числа результатов определения. Более конкретно, блок 155 хранения результатов определения может стирать результат определения, соответствующий захваченному изображению, в котором прошло заданное время или более с момента получения изображения, и результат определения, сохраненный в блоке 155 хранения результатов определения, может быть только тем соответствующим изображениям, захваченным от настоящего до прошлого в течение заданного времени.

[0044] В случае, когда блок 71 формирования изображения захватывает изображения в заданный интервал, результат, когда число результатов определения, хранящихся в блоке 155 хранения результатов определения, ограничено на основе числа N, является таким же, как и результат, когда число результатов определения ограничено на основе заданного времени.

[0045] С другой стороны, в случае, когда блок 71 формирования изображения захватывает изображения в неопределенное время, отличное от заданного интервала, результат может измениться в зависимости от того, ограничено ли изображение на основе числа N или заданного времени. Однако независимо от того, ограничено ли число результатов определения, подлежащих сохранению, на основе числа N или заданного времени, это может быть принято в качестве конфигурации блока 155 хранения результатов определения.

[0046] Блок 180 установки порогового значения устанавливает числовое пороговое значение NC, которое является значением, используемым в блоке 190 принятия решения о выводе, описанном ниже, на основе состояния отображения светофора (процесс установки порогового значения). Числовое пороговое значение NC устанавливается равным заданному начальному значению, когда контроллер 100 запускается в первый раз, и впоследствии обновляется блоком 180 установки порогового значения.

[0047] В частности, блок 180 установки порогового значения обращается к последнему результату определения из результатов определения, составляющих последовательность результатов, сохраненную в блоке 155 хранения результатов определения. В случае, когда последним результатом определения является результат определения того, что состояние отображения является отображением разрешения («зеленый сигнал»), которое разрешает проезд стоп-линии, соответствующей светофору, блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC. В случае, когда последний результат определения отличается от результата определения того, что состояние отображения является отображением разрешения, блок 180 установки порогового значения устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC.

[0048] Кроме того, блок 180 установки порогового значения может установить числовое пороговое значение NC на основе того, является ли последний результат определения отображением запрещения («красным сигналом»), запрещающим проезд стоп-линии, или промежуточным отображением («желтым сигналом»), отображенным после отображения разрешения и перед отображением запрещения.

[0049] Например, блок 180 установки порогового значения может установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC в случае, когда последним результатом определения является результат определения того, что состояние отображения является отображением запрещения. Кроме того, блок 180 установки порогового значения может установить второе пороговое значение, меньшее, чем третье пороговое значение, установленное в случае отображения запрещения, в качестве числового порогового значения NC, в случае, когда последний результат определения является результатом определения того, что состояние отображения является промежуточным отображением.

[0050] Следует отметить, что первое пороговое значение, второе пороговое значение и третье пороговое значение могут быть определены на основе производительности блока 71 формирования изображения, длины последовательности результатов, сохраненной блоком 155 хранения результатов определения, цикла формирования изображения блока 71 формирования изображения, и тому подобном.

[0051] Кроме того, в случае, когда блок 150 определения определяет, что светофор не светится (в случае, когда последний результат определения блоком 150 определения является результатом определения того, что состояние отображения неизвестно), блок установки порогового значения 180, может поддерживать значение числового порогового значения NC, которое уже было установлено, без установки числового порогового значения NC.

[0052] Блок 180 установки порогового значения сбрасывает числовое пороговое значение NC до начального значения после того, как транспортное средство пересекает стоп-линию, соответствующую целевому светофору.

[0053] Блок 190 принятия решения о выводе определяет выходное значение на основе числового порогового значения NC, установленного блоком 180 установки порогового значения, и последовательности результатов, сохраненной в блоке 155 хранения результатов определения. В частности, блок 190 принятия решения о выводе устанавливает результат определения с индексом 0 в качестве выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, больше числового порогового значения NC.

[0054] Следует отметить, что блок 190 принятия решения о выводе может поддерживать выходное значение в качестве предыдущего выходного значения в случае, когда число результатов определения, которые являются теми же, что и последний результат определения (результат определения с индексом 0) из результатов определения, составляющих последовательность результатов, равно или меньше числового порогового значения NC.

[0055] Состояние определения выходного значения блоком 190 принятия решения о выводе будет описано со ссылкой на фиг. 5A. Фиг. 5A является схемой, иллюстрирующей первый пример изменения выходного значения, соответствующего последовательности результатов.

[0056] На фиг. 5A предполагается, что число N результатов определения, составляющих последовательность результатов, равно 8, а числовое пороговое значение NC равно 4. Кроме того, предполагается, что изображения, полученные блоком 71 формирования изображения, относятся к кадрам от кадра F001 до кадра F010 в порядке временной последовательности, и результат определения блоком 150 определения получается для каждого кадра. Кроме того, в примере, показанном на фиг. 5A, предполагается, что функция дополнения результата определения блоком 155 хранения результатов определения отключена.

[0057] Например, на фиг. 5А, относящейся к строке кадра F001, отображение «G» с левой стороны последовательности результатов означает, что результатом определения блока 150 определения по отношению к кадру F001 является «зеленый сигнал». Кроме того, отображение «G» с правой стороны последовательности результатов означает, что выходное значение, определенное блоком 190 принятия решения о выводе, является «зеленым сигналом», когда результат определения кадра F001 вводится в последовательность результатов. Другие кадры с F002 по F010 также отображаются таким же образом.

[0058] Предполагается, что состояние отображения светофора было зеленым сигналом во время формирования изображения кадра F004, но изменилось на желтый сигнал во время формирования изображения кадра F005. В этом случае, как показано в строке кадра F005 на фиг. 5А, число результатов определения, которые являются теми же, что и результат определения «Y» в последовательности результатов, равно 1, что является значением, равным или меньшим, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе поддерживает выходное значение в качестве «зеленого сигнала», который является непосредственно предшествующим выходным значением.

[0059] На фиг. 5А выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F010. Со ссылкой на строку кадра F010 на фиг. 5A число результатов определения, которые совпадают с результатом определения «Y» в последовательности результатов, равно 5, что больше, чем числовое пороговое значение NC. Следовательно, блок 190 принятия решения о выводе устанавливает выходное значение как «желтый сигнал» во время кадра F010.

[0060] В примере, показанном на фиг. 5А, существует временная задержка в 5 кадров от фактического изменения состояния отображения светофора до изменения выходного значения блоком 190 принятия решения о выводе. Расстояние, пройденное транспортным средством за время задержки, является расстоянием свободного пробега транспортного средства.

[0061] Со ссылкой на фиг. 5B будет описано, что чем меньше установленное числовое пороговое значение NC, тем меньше временная задержка между фактическим изменением состояния отображения светофора и изменением выходного значения. Фиг. 5B является схемой, иллюстрирующей второй пример изменения выходного значения, соответствующего последовательности результатов.

[0062] В примере, показанном на фиг. 5B, в отличие от примера, показанного на фиг. 5A, предполагается, что числовое пороговое значение NC равно 2. На фиг. 5B выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F008. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет 3 кадра.

[0063] Кроме того, на фиг. 5B, предполагая, что функция дополнения результата определения блоком 155 хранения результатов определения включена, когда результат определения для кадра F007 сохраняется в блоке 155 хранения результатов определения, выполняется дополнение для результата определения индекса 1, и результат определения индекса 1 изменяется с «неизвестно» на «желтый сигнал». В результате выходное значение, определенное блоком 190 принятия решения о выводе, изменяется с «зеленого сигнала» на «желтый сигнал» во время кадра F007. В этом случае временная задержка от фактического изменения состояния отображения светофора до изменения выходного значения составляет два кадра.

[0064] Как описано выше, чтобы уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения и сократить расстояние свободного пробега, желательно уменьшить числовое пороговое значение NC. С другой стороны, чтобы повысить точность распознавания светофора, желательно увеличить числовое пороговое значение NC. То есть существует компромиссное соотношение между повышением точности распознавания светофора и уменьшением временной задержки для сокращения расстояния свободного пробега.

[0065] Следовательно, чтобы сократить расстояние свободного пробега, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC, когда транспортное средство находится близко к стоп-линии, меньшим, чем числовое пороговое значение NC, установленное, когда транспортное средство находится далеко от стоп-линии. Кроме того, когда состояние отображения светофора представляет собой желтый сигнал или красный сигнал по сравнению со случаем, когда состояние отображения светофора представляет собой зеленый сигнал, желательно, чтобы блок 180 установки порогового значения устанавливал числовое пороговое значение NC меньше, чтобы сократить расстояние свободного пробега.

[0066] Блок 160 вывода выводит выходное значение, определенное блоком 190 принятия решения о выводе, в качестве состояния отображения светофора. Например, состояние отображения светофора выводится из блока 160 вывода в устройство 400 управления транспортным средством и используется для управления транспортным средством. Кроме того, состояние отображения светофора может быть выведено из блока 160 вывода на устройство уведомления (не показано) и сообщено находящемуся в транспортном средстве человеку через устройство уведомления.

[0067] [Процедура обработки устройства распознавания светофора]

Далее со ссылкой на блок-схемы последовательности операций на фиг. 2 и 3 будет описана процедура обработки распознавания светофора устройством распознавания светофора согласно настоящему варианту осуществления. Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки устройства распознавания светофора согласно настоящему варианту осуществления. Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей модифицированный пример процедуры обработки устройства распознавания светофора согласно настоящему варианту осуществления.

[0068] Процесс распознавания светофора, показанный на фиг. 2 и 3, может выполняться каждый раз, когда блок 71 формирования изображения получает изображение, или может выполняться каждый цикл, когда обработка изображения выполняется в области обнаружения после того, как блок 71 формирования изображения получает изображение.

[0069] На этапе S107 блок 150 определения определяет состояние отображения светофора на основе изображения, захваченного блоком 71 формирования изображения.

[0070] На этапе S109 блок 155 хранения результатов определения сохраняет состояние отображения светофора, определенное блоком 150 определения.

[0071] На этапе S141 блок 180 установки порогового значения определяет, светится ли светофор. В частности, блок 180 установки порогового значения определяет, светится ли светофор, обращаясь к последнему результату определения из последовательности результатов, сохраненной в блоке 155 хранения результатов определения.

[0072] Если светофор не светится (НЕТ на этапе S141), блок 180 установки порогового значения поддерживает числовое пороговое значение NC на этапе S145. Если светофор светится (ДА на этапе S141), процесс переходит к этапу S142.

[0073] На этапе S142 блок 180 установки порогового значения определяет, светится ли зеленый сигнал. В частности, блок 180 установки порогового значения определяет, является ли последний результат определения результатом определения того, что состояние отображения является отображением разрешения («зеленым сигналом»), которое разрешает проезд стоп-линии, соответствующей светофору.

[0074] В случае, когда светится зеленый сигнал (ДА на этапе S142), блок 180 установки порогового значения устанавливает первое пороговое значение в качестве числового порогового значения NC на этапе S146. В случае, когда не светится зеленый сигнал (НЕТ на этапе S142), блок 180 установки порогового значения устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC на этапе S147.

[0075] Если зеленый сигнал не светится (НЕТ на этапе S142), как показано в блок-схеме последовательности операций на фиг. 3, процесс может перейти на этап S143, чтобы определить, светится ли желтый сигнал.

[0076] В случае, когда светится желтый сигнал (ДА на этапе S143), блок 180 установки порогового значения устанавливает второе пороговое значение в качестве числового порогового значения NC на этапе S147. В случае, когда не светится желтый сигнал (НЕТ на этапе S143), блок 180 установки порогового значения может установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения NC на этапе S148. Третье пороговое значение может быть меньше первого порогового значения и больше второго порогового значения.

[0077] После завершения установки числового порогового значения NC на этапе S145, этапе S146, этапе S147 и этапе S148 блок 190 принятия решения о выводе определяет выходное значение на основе последовательности результатов, сохраненной в блоке 155 хранения результатов определения на этапе S171.

[0078] На этапе S173 блок 160 вывода выводит состояние отображения светофора, определенное блоком 190 принятия решения о выводе. Выходное состояние отображения светофора используется, например, в устройстве 400 управления транспортным средством.

[0079] Посредством многократного выполнения процессов, показанных блок-схемами последовательности операций на фиг. 2 и 3, числовое пороговое значение NC последовательно обновляется.

[0080] [Эффект вариантов осуществления]

Как подробно описано выше, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора на основе множества изображений направления движения транспортного средства, устанавливают первое пороговое значение в качестве числового порогового значения, если конкретный результат определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, является результатом определения, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору, устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения, если конкретный результат определения отличается от результата определения, что состояние отображения является отображением разрешения, и выводят конкретный результат определения, если число результатов определения, идентичных конкретному результату определения, больше числового порогового значения.

[0081] В результате, подавляя время задержки от фактического перехода состояния отображения светофора до начала процесса, соответствующего состоянию отображения после перехода, возможно определить состояние отображения светофора и распознать светофор, обращаясь к множеству изображений, расположенных в порядке временной последовательности. В частности, возможно подавить время задержки распознавания светофора в случае, когда светофор находится в состоянии отображения, отличном от отображения разрешения, по сравнению со случаем, когда светофор представляет отображение разрешения. В результате возможно ускорить начало процесса (например, процесса выдачи сигнала предупреждения находящемуся в транспортном средстве человеку, процесса торможения транспортного средства и т. д.), соответствующего состоянию отображения, отличному от отображения разрешения.

[0082] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут устанавливать второе пороговое значение в качестве числового порогового значения в случае, когда конкретным результатом определения является отображение запрещения или промежуточное отображение, для светофора, который отображает по меньшей мере одно из отображения разрешения, отображения запрещения, которое запрещает проезд стоп-линии, и промежуточного отображения, отображаемого после отображения разрешения и перед отображением запрещения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет промежуточное отображение или отображение запрещения, по сравнению со случаем, когда светофор представляет отображение разрешения.

[0083] Кроме того, способ распознавания светофора и устройство распознавания светофора согласно настоящему варианту осуществления могут установить третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретным результатом определения является результат определения того, что состояние отображения является отображением запрещения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет отображение запрещения, по сравнению со случаем, когда светофор представляет отображение разрешения.

[0084] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления второе пороговое значение может быть меньше третьего порогового значения. В результате возможно подавить время задержки при распознавании светофора в случае, когда светофор представляет промежуточное отображение, по сравнению со случаем, когда светофор представляет отображение запрещения.

[0085] Кроме того, в способе распознавания светофора и устройстве распознавания светофора согласно настоящему варианту осуществления число результатов определения, составляющих последовательность результатов, может быть больше, чем числовое пороговое значение. В результате возможно сохранить число результатов определения, необходимых для определения выходного значения, и возможно уверенно повысить точность распознавания светофора.

[0086] Кроме того, способ распознавания светофора и устройство распознавания светофора в соответствии с настоящим вариантом осуществления могут извлекать результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения, могут извлекать результат определения непосредственно перед первым результатом определения и результатом определения сразу после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно, могут заменить первый результат определения в последовательности результатов на второй результат определения в случае, когда второй результат определения идентичен третьему результату определения.

[0087] В результате, даже в ситуации, когда состояние отображения светофора не может быть определено из-за мерцания светофора, возможно уменьшить временную задержку от фактического изменения состояния отображения светофора до изменения выходного значения.

[0088] Соответствующие функции, описанные в приведенном выше варианте осуществления, могут быть реализованы одной или множеством схем обработки. Схемы обработки включают в себя запрограммированные устройства обработки, такие как устройство обработки, включающее в себя электрическую схему, и включают в себя устройства, такие как специализированная интегральная схема (ASIC) и обычные элементы схемы, которые приспособлены для выполнения функций, описанных в варианте осуществления.

[0089] Хотя содержание настоящего изобретения было описано выше со ссылкой на вариант осуществления, настоящее изобретение не ограничено этими описаниями, и специалистам в данной области техники будет очевидно, что могут быть сделаны различные модификации и усовершенствования. Не следует истолковывать, что настоящее изобретение ограничено описаниями и чертежами, которые составляют часть настоящего раскрытия. На основе настоящего раскрытия специалистам в данной области техники будут очевидны различные альтернативные варианты осуществления, практические примеры и способы работы.

[0090] Нет необходимости упоминать, что настоящее изобретение также включает в себя различные варианты осуществления, которые здесь не описаны. Следовательно, технический объем настоящего изобретения должен определяться только изобретением, определяющим объекты патентования в соответствии с объемом формулы изобретения, соответствующим образом полученным из приведенных выше описаний.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0091]

71 блок формирования изображения

73 датчик в транспортном средстве

75 блок получения картографической информации

100 контроллер

150 блок определения

155 блок хранения результатов определения

160 блок вывода

180 блок установки порогового значения

190 блок принятия решения о выводе

400 устройство управления транспортным средством.

Изобретение относится к способу распознавания светофора и устройству распознавания светофора. Способ распознавания светофора содержащий этапы, на которых получают множество изображений посредством многократного формирования изображения светофора, получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности. При установке числового порогового значения на основе конкретного результата определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов, устанавливают первое пороговое значение в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору. Устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения отличается от результата определения того, что состояние отображения является отображением разрешения. Устройство распознавания светофора содержит блок формирования изображения и контроллер. Достигается повышение точности распознования изображений. 2 н. и 5 з. п. ф-лы, 6 ил.

1. Способ распознавания светофора, содержащий этапы, на которых:

получают множество изображений посредством многократного формирования изображения светофора в направлении движения транспортного средства с использованием блока формирования изображения, установленного на транспортном средстве,

получают последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора для каждого изображения из множества изображений,

при установке числового порогового значения на основе конкретного результата определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов,

устанавливают первое пороговое значение в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору,

устанавливают второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения отличается от результата определения того, что состояние отображения является отображением разрешения,

выводят конкретный результат определения в случае, когда число результатов определения, идентичных конкретному результату определения, больше, чем числовое пороговое значение.

2. Способ распознавания светофора по п. 1, дополнительно содержащий этап, на котором:

для светофора, который отображает по меньшей мере одно из отображения разрешения, отображения запрещения, которое запрещает проезд стоп-линии, и промежуточного отображения, отображаемого после отображения разрешения и перед отображением запрещения,

устанавливают второе пороговое значение в качестве числового порогового значения в случае, когда конкретным результатом определения является отображение запрещения или промежуточное отображение.

3. Способ распознавания светофора по п. 2, дополнительно содержащий этап, на котором:

устанавливают третье пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением запрещения.

4. Способ распознавания светофора по п. 3, в котором:

второе пороговое значение меньше третьего порогового значения.

5. Способ распознавания светофора по любому из пп. 1-4, в котором

число результатов определения, составляющих последовательность результатов, превышает числовое пороговое значение.

6. Способ распознавания светофора по любому из пп. 1-5, дополнительно содержащий этапы, на которых:

извлекают результат определения, что состояние отображения неизвестно, из результатов определения, составляющих последовательность результатов, в качестве первого результата определения,

извлекают результат определения непосредственно перед первым результатом определения и результат определения непосредственно после первого результата определения из результатов определения, составляющих последовательность результатов, за исключением результатов определения, состояние отображения которых неизвестно, в качестве второго результата определения и третьего результата определения, соответственно,

заменяют первый результат определения в последовательности результатов вторым результатом определения в случае, когда второй результат определения идентичен третьему результату определения.

7. Устройство распознавания светофора, содержащее блок формирования изображения, установленный на транспортном средстве, и контроллер, при этом контроллер

получает множество изображений посредством многократного формирования изображения светофора в направлении движения транспортного средства с использованием блока формирования изображения,

получает последовательность результатов, состоящую из множества результатов определения в порядке временной последовательности, полученных посредством определения состояния отображения светофора для каждого изображения из множества изображений,

при установке числового порогового значения на основе конкретного результата определения, который является последним результатом определения из результатов определения, составляющих последовательность результатов,

устанавливает первое пороговое значение в качестве числового порогового значения в случае, когда конкретный результат определения является результатом определения того, что состояние отображения является отображением разрешения, которое разрешает проезд стоп-линии, соответствующей светофору,

устанавливает второе пороговое значение, меньшее, чем первое пороговое значение, в качестве числового порогового значения в случае, когда конкретный результат определения отличается от результата определения того, что состояние отображения является отображением разрешения,

выводит конкретный результат определения в случае, когда число результатов определения, идентичных конкретному результату определения, больше, чем числовое пороговое значение.