УСТРОЙСТВО (ВАРИАНТЫ) И СПОСОБ РАСПОЗНАВАНИЯ СВЕТОФОРОВ Российский патент 2019 года по МПК G08G1/16 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству распознавания светофоров и к способу распознавания светофоров для распознавания светофора, причем устройство распознавания светофоров монтируется на транспортном средстве.

УРОВЕНЬ ТЕХНИКИ

[0002] Например, транспортное средство, оснащенное функцией автоматического режима работы, управляет операциями для того, чтобы останавливаться, двигаться и т.д., посредством распознавания светофора, предоставленного вдоль пути движения транспортного средства, и обнаружения состояния подсвечивания, к примеру, цвета подсвечивания, светофора.

[0003] В качестве традиционного устройства распознавания светофоров, известно, например, устройство распознавания светофоров, раскрытое в патентном документе 1 (выложенной патентной публикации (Япония) № 11-306489). В этом указанном документе 1 камера монтируется на транспортном средстве и формирует изображение светофора впереди. В этом случае угол в горизонтальном направлении и угол в вертикальном направлении камеры управляются таким образом, что светофор располагается в центре изображения, захваченного посредством камеры. Кроме того, увеличение управляется таким образом, что изображение светофора имеет требуемый размер.

Список библиографических ссылок

Патентные документы

[0004] Патентный документ 1. Выложенная патентная публикация (Япония) номер 11-306489

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Тем не менее, в традиционном примере, раскрытом в патентном документе 1, возникает размытость в изображении, захваченном посредством камеры, при изменении направления формирования изображений камеры, за счет этого затрудняя распознавание изображений. Как результат, при изменении направления формирования изображений камеры, может уменьшаться точность при обнаружении состояния подсвечивания светофора.

[0006] Настоящее изобретение осуществлено, чтобы разрешать вышеописанные традиционные проблемы, и его цель заключается в том, чтобы предоставлять устройство распознавания светофоров, допускающее исключение необходимости изменять направление формирования изображений в модуле формирования изображений или уменьшение числа изменений направления формирования изображений, когда транспортное средство приближается к светофору.

[0007] Устройство распознавания светофоров согласно аспекту настоящего изобретения включает в себя: модуль формирования изображений; модуль получения картографической информации, выполненный с возможностью получать картографическую информацию; детектор текущего положения транспортного средства, выполненный с возможностью обнаруживать текущее положение на карте транспортного средства; и модуль оценки положений светофора, выполненный с возможностью оценивать положение на изображении светофора. Устройство распознавания светофоров дополнительно включает в себя: модуль задания направления формирования изображений, выполненный с возможностью задавать направление формирования изображений в модуле формирования изображений на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора; модуль изменения направления формирования изображений, выполненный с возможностью изменять направление формирования изображений в модуле формирования изображений на направление формирования изображений, заданное посредством модуля задания направления формирования изображений; и модуль распознавания светофоров, выполненный с возможностью распознавать светофор из изображения, захваченного в направлении формирования изображений посредством модуля формирования изображений.

[0008] Способ распознавания светофоров согласно аспекту настоящего изобретения включает в себя этапы: захвата, посредством модуля формирования изображений, изображения вокруг транспортного средства; получения картографической информации вокруг транспортного средства; обнаружения текущего положения на карте транспортного средства; и оценки положения на изображении светофора на основе текущего положения транспортного средства и картографической информации. Способ распознавания светофоров дополнительно включает в себя этапы: задания направления формирования изображений в модуле формирования изображений на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора; изменения направления формирования изображений в модуле формирования изображений на направление формирования изображений, заданное посредством модуля задания направления формирования изображений; и распознавания светофора из изображения, захваченного в направлении формирования изображений посредством модуля формирования изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофоров согласно варианту осуществления настоящего изобретения и его периферийных устройств.

Фиг. 2 является блок-схемой, иллюстрирующей подробную конфигурацию устройства распознавания светофоров согласно варианту осуществления настоящего изобретения.

Фиг. 3 является блок-схемой, иллюстрирующей подробную конфигурацию модуля задания ориентаций обработки изображений согласно первому варианту осуществления.

Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей процедуру обработки устройства распознавания светофоров согласно первому варианту осуществления.

Фиг. 5 является пояснительным видом, иллюстрирующим координату текущего положения светофора, присутствующего на изображении.

Фиг. 6 является пояснительным видом, иллюстрирующим координату предыдущей положения и координату текущего положения светофора, присутствующего на изображении.

Фиг. 7 является пояснительным видом, иллюстрирующим то, как координата положения светофора перемещена в нижнем левом углу изображения посредством изменения направления формирования изображений камеры.

Фиг. 8 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно первому варианту осуществления, фиг. 8(a) иллюстрирует маршрут движения транспортного средства, фиг. 8(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 8(c) иллюстрирует изображение после изменения направления формирования изображений.

Фиг. 9 является блок-схемой, иллюстрирующей подробную конфигурацию модуля задания ориентаций обработки изображений согласно второму варианту осуществления.

Фиг. 10 является блок-схемой последовательности операций способа, иллюстрирующей процедуру обработки устройства распознавания светофоров согласно второму варианту осуществления.

Фиг. 11 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно второму варианту осуществления, фиг. 11(a) иллюстрирует маршрут движения транспортного средства, фиг. 11(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 11(c) иллюстрирует изображение после изменения направления формирования изображений.

Фиг. 12 является пояснительным видом, иллюстрирующим траекторию перемещения светофора на изображении, когда транспортное средство движется искривленная дорога.

Фиг. 13 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров, которое не использует второй вариант осуществления, фиг. 13(a) иллюстрирует маршрут движения транспортного средства, фиг. 13(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 13(c) и 13(d) иллюстрируют изображение после изменения направления формирования изображений.

Фиг. 14 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно третьему варианту осуществления, фиг. 14(a) иллюстрирует маршрут движения транспортного средства, фиг. 14(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 14(c) иллюстрирует изображение после изменения направления формирования изображений.

Фиг. 15 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров, которое не использует третий вариант осуществления, фиг. 15(a) иллюстрирует маршрут движения транспортного средства, фиг. 15(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 15(c) иллюстрирует изображение после изменения направления формирования изображений.

Фиг. 16 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно модифицированному примеру третьего варианта осуществления, фиг. 16(a) иллюстрирует маршрут движения транспортного средства, фиг. 16(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 16(c) иллюстрирует изображение после изменения направления формирования изображений.

Фиг. 17 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно четвертому варианту осуществления, фиг. 17(a) иллюстрирует маршрут движения транспортного средства, фиг. 17(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 17(c), 17(d) и 17(e) иллюстрируют изображение после изменения направления формирования изображений.

Фиг. 18 является пояснительным видом, иллюстрирующим время для изменения направления формирования изображений в устройстве распознавания светофоров согласно пятому варианту осуществления, фиг. 18(a) иллюстрирует маршрут движения транспортного средства, фиг. 18(b) иллюстрирует изображение перед изменением направления формирования изображений, и фиг. 18(c) иллюстрирует изображение после изменения направления формирования изображений.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0010] Далее поясняются варианты осуществления настоящего изобретения со ссылками на чертежи.

Пояснение первого варианта осуществления

Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства распознавания светофоров согласно первому варианту осуществления настоящего изобретения и его периферийных устройств. Дополнительно, фиг. 2 является блок-схемой, подробно иллюстрирующей устройство 100 распознавания светофоров, проиллюстрированное на фиг. 1. Как проиллюстрировано на фиг. 1, устройство 100 распознавания светофоров монтируется на транспортном средстве 51 и принимает вводы картографической информации D02, информации D03 камеры, информации D05 текущего положения транспортного средства и данных D07 изображений из различных устройств, смонтированных на этом транспортном средстве 51. Затем устройство 100 распознавания светофоров выводит информацию D04 светофоров, которая является информацией, распознанной посредством этого устройства 100 распознавания светофоров, в устройство на следующей стадии.

[0011] Информация D03 камеры является информацией в отношении положения установки камеры 11 (см. фиг. 2) относительно транспортного средства 51. При получении трехмерной информации, указывающей направления на карте транспортного средства 51, область формирования изображений вокруг транспортного средства может оцениваться посредством камеры 11 на основе информации D03 камеры.

[0012] Картографическая информация D02 является информацией, предоставляемой из картографической базы данных, включающей в себя картографические данные (картографическую информацию вокруг транспортного средства) пути движения, по которому движется транспортное средство, и включает в себя информацию положения относительно цели, такую как наземный ориентир, присутствующий вдоль пути движения, информация положения относительно светофора и т.п.

[0013] Как проиллюстрировано на фиг. 2, устройство 100 распознавания светофоров включает в себя камеру 11 (модуль формирования изображений), детектор 12 текущего положения транспортного средства, модуль 17 получения картографической информации, модуль 13 задания направления формирования изображений, модуль 14 распознавания светофоров и модуль 18 получения информации ориентиров.

[0014] Камера 11 представляет собой камеру, содержащую полупроводниковый датчик изображений, такой как CCD или CMOS, например, и устанавливается на транспортном средстве 51 и захватывает изображение вокруг пути движения, чтобы получать цифровое изображение периферийной области. Камера 11 выводит захваченное изображение в качестве данных D07 изображений в модуль 14 распознавания светофоров. Кроме того, камера 11 имеет сохраненную информацию в отношении положения установки камеры 11 относительно транспортного средства 51 и выводит эту информацию в качестве информации D03 камеры в модуль 13 задания направления формирования изображений. Для получения информации в отношении положения установки камеры 11, например, метка и т.п. для калибровки устанавливается в положения, известной транспортному средству 51, так что положение установки может вычисляться из положения на изображении, захваченном посредством камеры 11. Кроме того, камера 11 устанавливается с помощью механизма, который является вращающимся в направлениях панорамирования и наклона относительно транспортного средства 51, включает в себя регулирующий механизм для регулирования углов поворота в направления панорамирования и наклона и может управлять ориентацией камеры 11 таким образом, что камера 11 обращена в требуемом направлении формирования изображений посредством регулирования углов поворота в направлениях панорамирования и наклона.

[0015] Модуль 17 получения картографической информации получает информацию положения относительно цели, такую как наземный ориентир, присутствующий вокруг пути движения, информация положения относительно светофора и т.п., из картографической базы данных, включающей в себя картографическую информацию (картографическую информацию вокруг транспортного средства) в отношении пути движения, по которому движется транспортное средство. Модуль 17 получения картографической информации выводит эту картографическую информацию в качестве картографической информации D02 в детектор 12 текущего положения транспортного средства и модуль 13 задания направления формирования изображений.

[0016] Модуль 18 получения информации ориентиров представляет собой, например, считывающую камеру, лазерный радар и т.п., установленный на транспортном средстве, и распознает наземные ориентиры (дорожные метки (разделительные линии, стоп-линии, тексты), бордюрный камень, светофор, дорожный знак и т.д.) с тем, чтобы получать информацию в отношении относительной положения относительно транспортного средства 51. Модуль 18 получения информации ориентиров выводит полученную информацию в качестве информации D01 ориентиров в детектор 12 текущего положения транспортного средства.

[0017] Детектор 12 текущего положения транспортного средства получает информацию D01 ориентиров и картографическую информацию D02, обнаруживает текущее положение на карте транспортного средства 51 на основе этих фрагментов информации и выводит ее в качестве информации D05 текущего положения транспортного средства. Как описано выше, информация D01 ориентиров включает в себя информацию, указывающую относительную позиционную взаимосвязь наземного ориентира относительно транспортного средства 51. Соответственно, текущее положение на карте транспортного средства 51 может обнаруживаться посредством сопоставления информации положения относительно этой информации D01 ориентиров с информацией положения относительно наземного ориентира, включенной в картографическую информацию D02. Здесь, "положение" включает в себя координату и ориентацию. В частности, положение наземного ориентира включает в себя его координату и ориентацию, и положение транспортного средства 51 включает в себя его координату и ориентацию. Детектор 12 текущего положения транспортного средства выводит, в качестве информации D05 текущего положения транспортного средства, координату (x, y, z) в системе координат, служащей в качестве опорной системы координат, и ориентацию (наклон относительно вертикальной оси, наклон в продольном направлении, наклон в поперечном направлении), которая находится в направлении вращения на каждой оси координат.

[0018] Модуль 13 задания направления формирования изображений управляет, на основе информации D05 текущего положения транспортного средства и картографической информации D02, ориентацией в направлении формирования изображений камеры 11 таким образом, что светофор, присутствующий вдоль пути движения транспортного средства 51, располагается в области формирования изображений камеры 11. В частности, ориентация камеры 11 может управляться посредством регулирования углов поворота в направлениях панорамирования и наклона камеры 11 таким образом, что она находится в целевом направлении формирования изображений. Затем из изображения, захваченного в этом направлении формирования изображений, область обнаружения, в которой предположительно должен присутствовать светофор, задается и выводится в качестве информации D06 области обнаружения. Таким образом, как только определяется ориентация камеры 11, и задается область, изображения которой должны формироваться, может идентифицироваться положение, в которой светофор предположительно должен присутствовать на изображении, захваченном посредством камеры 11. Следовательно, область, включающая в себя эту положение, может задаваться в качестве области обнаружения. Эта информация D06 области обнаружения выводится в модуль 14 распознавания светофоров. В этом случае, область обнаружения задается таким образом, что она имеет такой размер, что каждый светофор не выпадает из кадра в области обнаружения, даже когда ошибка возникает в информации поведения транспортного средства и/или текущего положения транспортного средства. Модуль 13 задания направления формирования изображений содержит функцию для того, чтобы определять направление формирования изображений камеры 11 на основе положения транспортного средства 51, положения светофора и величины изменения положения светофора. Ниже подробно описывается модуль 13 задания направления формирования изображений со ссылкой на фиг. 3.

[0019] Модуль 14 распознавания светофоров распознает светофор на основе вышеописанной информации D06 области обнаружения из данных D07 изображений, захваченных посредством камеры 11. В частности, на основе данных D07 изображений, выводимых из камеры 11, и информации D06 области обнаружения, заданной посредством модуля 13 задания направления формирования изображений, обработка изображений для распознавания светофора выполняется для области обнаружения. В качестве способа для обработки изображений, сигнальная лампа светофора может обнаруживаться с использованием, например, способа для обнаружения сигнальной лампы светофора посредством использования мигающего света синхронно с циклом переменного тока (AC) сети общего пользования либо способа для определения подобия между характеристиками, такими как оттенки и круглые формы красной, зеленой и желтой ламп и т.п. Кроме этих способов, может применяться известная обработка изображений для обнаружения светофора. Обработка распознавания светофора выполняется не для всех данных D07 изображений, захваченных посредством камеры 11, а для области обнаружения, заданной в качестве их части, так что нагрузка при обработке информации для обнаружения светофора может уменьшаться, и светофор может обнаруживаться быстро. Затем модуль 14 распознавания светофоров выводит результат распознавания светофора в качестве информации D04 светофоров. Следует отметить, что обработка распознавания светофора не ограничена вышеописанным способом, и также могут использоваться другие способы.

[0020] Фиг. 3 является блок-схемой, иллюстрирующей подробную конфигурацию модуля 13 задания направления формирования изображений. Как проиллюстрировано на фиг. 3, модуль 13 задания направления формирования изображений включает в себя модуль 21 оценки положений светофора, модуль 22 вычисления величины изменения положения, модуль 23 задания ориентаций обработки изображений, контроллер 24 ориентаций камеры и модуль 25 вычисления областей обнаружения.

[0021] Модуль 21 оценки положений светофора принимает вводы картографической информации D02 и информации D05 текущего положения транспортного средства и выводит информацию D08 положения обнаружения. Поскольку картографическая информация D02 включает в себя координату каждого светофора, модуль 21 оценки положений светофора может получать относительную координату светофора относительно транспортного средства 51 на основе координаты каждого светофора, координаты транспортного средства 51 и ориентации камеры 11. Соответственно, как только определяется ориентация, когда камера 11 формирует изображение периферии, может идентифицироваться положение на изображении, в которой должно формироваться изображение положения светофора на захваченном изображении. Например, как проиллюстрировано на фиг. 5, в изображении R1, может задаваться оцененная положение (x2, y2) светофора. Таким образом, модуль 21 оценки положений светофора содержит функцию для того, чтобы оценивать положение светофора на основе картографической информации вокруг транспортного средства 51.

[0022] Модуль 22 вычисления величины изменения положения вычисляет величину изменения положения светофора в изображении R1. Таким образом, как проиллюстрировано на фиг. 6, в изображении R1, координата (x1, y1) положения предыдущего обнаружения и координата (x3, y3) положения текущего обнаружения получаются для того, чтобы вычислять величину изменения положения для изображения светофора. Затем величина изменения вычисленной положения на изображении светофора выводится в качестве информации D09 изменений положения обнаружения. В частности, разность координаты X(x3-x1)=dx и разность координаты Y(y3-y1)=dy вычисляются для того, чтобы получать величину (dx, dy) изменения. В этом случае, при условии, что ориентация камеры 11 задается идентичной ориентации между ориентацией при предыдущем обнаружении и ориентацией при текущем обнаружении. Кроме того, в качестве координаты положения предыдущего обнаружения, может использоваться координата за один цикл обнаружения до этого. Альтернативно, координата за два или более циклов до этого также может использоваться, если не накладывается шум. Таким образом, модуль 22 вычисления величины изменения положения содержит функцию для того, чтобы вычислять величину изменения с течением времени положения светофора, оцененной посредством модуля 21 оценки положений светофора.

[0023] Модуль 23 задания ориентаций обработки изображений означает вышеописанную величину (dx, dy) изменения и оценивает направление перемещения светофора в изображении R1 из этой величины изменения. Затем на основе оцененного направления перемещения, направление формирования изображений камеры 11 определяется таким образом, что светофор не выпадает из кадра в изображении R1. В частности, направление изменения светофора в изображении R1 получается из вышеописанной величины (dx, dy) изменения, и направление формирования изображений камеры 11 определяется таким образом, что светофор располагается на месте в изображении R1 на стороне противоположного направления относительно этого направления изменения. Таким образом, модуль 23 задания ориентаций обработки изображений содержит функцию, в качестве модуля задания направления формирования изображений, чтобы определять направление формирования изображений камеры 11 на основе положения транспортного средства 51, положения светофора, оцененной посредством модуля 21 оценки положений светофора, и величины изменения положения светофора.

[0024] Как проиллюстрировано на фиг. 5, описанном выше, когда светофор присутствует на ссылке с номером q1 на правой стороне в изображении R1, и кроме того, направление перемещения этого светофора представляет собой направление сверху справа, как проиллюстрировано на фиг. 6, т.е. когда dx является положительным значением (dx>0), и dy является отрицательным значением (dy<0), оценивается то, светофор в изображении R1 перемещается в направлении сверху справа. Соответственно, как проиллюстрировано на фиг. 7, направление формирования изображений камеры 11 определяется таким образом, что светофор располагается в положения нижней левой ссылки с номером q2 в изображении R1. Здесь, даже в таком случае, когда определяется то, что оцененная положение (x2, y2) присутствует в положения, в которой светофор не выпадает из кадра даже при условии случая, в котором ошибка возникает в информации поведения транспортного средства и/или текущего положения транспортного средства, до тех пор, пока транспортное средство не проезжает через точку светофора, текущее состояние поддерживается без изменения направления формирования изображений камеры 11.

[0025] Контроллер 24 ориентаций камеры управляет, на основе информации D10 ориентации обработки изображений, выводимой из модуля 23 задания ориентаций обработки изображений, ориентацией в направлении формирования изображений камеры 11 таким образом, что светофор не выпадает из кадра в изображении R1. В частности, ориентация камеры 11 может управляться посредством регулирования углов поворота в направлениях панорамирования и наклона камеры 11 таким образом, что она находится в целевом направлении формирования изображений. Затем выводится информация D11 ориентации камеры 11, заданная посредством управления ориентацией. Кроме того, когда информация D10 ориентации обработки изображений не изменяется между текущим вычислением и вычислением на один цикл раньше, текущее направление формирования изображений поддерживается без изменения направления формирования изображений камеры 11. Контроллер 24 ориентаций камеры содержит функцию, в качестве модуля изменения направления формирования изображений, для того чтобы изменять направление формирования изображений таким образом, что направление формирования изображений камеры 11 становится направлением формирования изображений, заданным посредством модуля 23 задания ориентаций обработки изображений.

[0026] Модуль 25 вычисления областей обнаружения задает, на основе вышеописанной информации D11 ориентации камеры 11, картографической информации D02 и информации D05 текущего положения транспортного средства, область обнаружения для обнаружения светофора из изображения R1, захваченного посредством камеры 11. Положение светофора регистрируется, в качестве координаты на карте, с помощью картографической информации D02 заранее. На основе координаты положения светофора на карте и координаты текущего положения и ориентации транспортного средства 51 на карте, может получаться относительная положение светофора относительно транспортного средства 51. Затем на основе этой относительной положения и информации D11 ориентации в отношении камеры 11 относительно транспортного средства 51, получается положение светофора на изображении для изображения R1, захваченного посредством камеры 11, и кроме того, на основе положения светофора на этом изображении, задается область обнаружения в изображении R1. Область обнаружения задается таким образом, что она имеет такой размер, что светофор не выпадает из кадра, даже когда ошибка возникает в информации поведения транспортного средства и/или текущего положения транспортного средства. Затем выводится заданная информация D06 области обнаружения. Эта информация D06 области обнаружения выводится в модуль 14 распознавания светофоров, как проиллюстрировано на фиг. 2.

[0027] Следует отметить, что детектор 12 текущего положения транспортного средства, модуль 13 задания направления формирования изображений и модуль 14 распознавания светофоров, описанные выше, могут быть реализованы с использованием микроконтроллера, содержащего CPU, запоминающее устройство и модуль ввода-вывода. В частности, CPU составляет множество модулей (12, 13, 14) обработки информации микроконтроллера посредством выполнения предварительно установленной компьютерной программы. Часть запоминающего устройства микроконтроллера составляет картографическую базу данных для сохранения картографической информации D02. Следует отметить, что микроконтроллер также может использоваться в качестве ECU, используемого для других видов управления (например, управления автоматическим режимом работы), связанных с транспортным средством.

[0028] Далее поясняется работа устройства 100 распознавания светофоров согласно вышеописанному первому варианту осуществления со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 4. Во-первых, на этапе S11, модуль 21 оценки положений светофора, проиллюстрированный на фиг. 3, вычисляет, на основе картографической информации D02 и информации D05 текущего положения транспортного средства, положение светофора в изображении R1, захваченном посредством камеры 11. В частности, вычисляется положение ссылки с номером q1, проиллюстрированной на фиг. 5. Эта обработка выполняется с предварительно определенным циклом вычисления.

[0029] На этапе S12, модуль 22 вычисления величины изменения положения вычисляет величину изменения положения светофора в изображении R1. Как проиллюстрировано на фиг. 6, когда координата положения светофора перемещается в (x3, y3) из (x1, y1), вычисляется величина (dx, dy) изменения в этом случае.

[0030] На этапе S13, модуль 23 задания ориентаций обработки изображений оценивает то, выпадает или нет светофор в изображении R1 из кадра этого изображения R1. В этой обработке, как проиллюстрировано на фиг. 6, на основе координаты (x2, y2) оцененной положения светофора и величины (dx, dy) изменения, модуль 23 задания ориентаций обработки изображений оценивает то, выпадает или нет светофор из кадра изображения R1.

[0031] После этого, когда оценивается то, светофор выпадает из кадра ("Да" на этапе S13), на этапе S14, контроллер 24 ориентаций камеры задает направление формирования изображений камеры 11, с тем чтобы выполнять управление ориентацией таким образом, что светофор не выпадает из кадра изображения R1, либо таким образом, что число изменений направления формирования изображений попадает в пределы минимума, даже если светофор неизбежно выпадает из кадра. Например, как проиллюстрировано на фиг. 6, когда оценивается то, что светофор в изображении R1 присутствует в координате (x2, y2), и этот светофор перемещается в направлении сверху справа, прогнозируется то, что светофор выпадает из кадра изображения R1, если ничего не выполнено. Соответственно, как проиллюстрировано на фиг. 7, направление формирования изображений камеры 11 задается таким образом, что светофор располагается в положения ссылки с номером q2, проиллюстрированной в нижнем левом углу в изображении R1. На этапе S15, контроллер 24 ориентаций камеры управляет ориентацией камеры 11 таким образом, что она находится в заданном направлении формирования изображений.

[0032] С другой стороны, когда оценивается то, что светофор не выпадает из кадра ("Нет" на этапе S13), процедура обработки переходит к этапу S16. Затем, на этапе S16, модуль 25 вычисления областей обнаружения задает область обнаружения для обнаружения светофора из изображения R1, захваченного посредством камеры 11. Как результат, когда транспортное средство 51 приближается к перекрестку, на котором устанавливается светофор, выпадание этого светофора из кадра изображения R1 может исключаться.

[0033] Далее поясняется изменение положения светофора в изображении R1, когда транспортное средство 51 приближается к светофору. Фиг. 8 является пояснительным видом, схематично иллюстрирующим то, как транспортное средство 51 движется по линейному пути X1 движения и приближается к светофору P1. Фиг. 8(a) иллюстрирует позиционную взаимосвязь между транспортным средством и светофором P1, фиг. 8(b) иллюстрирует изображение R1 перед изменением направления формирования изображений камеры 11, и фиг. 8(c) иллюстрирует изображение R1 после изменения направления формирования изображений камеры 11.

[0034] Точка Z1, проиллюстрированная на фиг. 8(a), представляет собой точку, в которой транспортное средство 51 находится на достаточно большом расстоянии от светофора P1, и светофор P1 может подтверждаться из изображения, захваченного посредством камеры 11. Кроме того, точка Z2 представляет собой точку, в которой транспортное средство 51 приближается к светофору P1. Точка Z3 представляет собой точку, в которой стоп-линия уже задана. Соответственно, область от точки Z2 до точки Z3 представляет собой область, в которой транспортное средство 51 должно тормозить, т.е. область для транспортного средства 51, чтобы тормозить, с тем чтобы останавливаться посредством замедления транспортного средства 51, когда определяется то, следует останавливаться или двигаться, и определено останавливаться. Следовательно, область, указываемая посредством точки Z2 - точки Z3, представляет собой область, в которой должно точно распознаваться изменение состояния подсвечивания светофора P1.

[0035] Как проиллюстрировано на фиг. 8(a), когда транспортное средство 51 движется в точке Z1, светофор P1 присутствует в нижнем правом углу в изображении R1, захваченном посредством камеры 11, как указано посредством ссылки с номером b1 по фиг. 8(b).

[0036] Затем, как только транспортное средство 51 достигает точки Z2, светофор P1 перемещается в направлении сверху справа в изображении R1, как указано посредством ссылки с номером b2. В этом случае, светофор P1 отображается большим по мере того, как приближается транспортное средство 51. Соответственно, светофор P1 выпадает из кадра изображения R1, если ничего не выполнено.

[0037] В этом варианте осуществления, в момент времени, когда транспортное средство 51 достигает точки Z2 на пути движения, направление формирования изображений камеры 11 изменяется. В частности, область формирования изображений камеры 11 принудительно перемещается в направлении сверху справа. Таким образом, светофор P1 перемещается в нижний левый угол в изображении R1, как указано посредством ссылки с номером c1 по фиг. 8(c). Соответственно, в момент времени, когда транспортное средство 51 продолжает ехать дальше и достигает точки Z3, светофор P1 надежно отображается без выпадания из кадра изображения R1, как указано посредством ссылки с номером c2. Таким образом, светофор P1 может сохраняться в изображении R1 без изменения направления формирования изображений камеры 11 в области от точки Z2 до точки Z3, в которой должно точно распознаваться состояние подсвечивания светофора P1. В таком случае, задание области обнаружения в этом изображении R1 обеспечивает возможность точного распознавания светофора.

[0038] Таким образом, в устройстве 100 распознавания светофоров согласно первому варианту осуществления, при обнаружении светофора P1, присутствующего в изображении R1, захваченном посредством камеры 11, оценивается, на основе направления перемещения светофора P1 в изображении R1, то, выпадает или нет этот светофор P1 из кадра. После этого, когда оценивается то, что этот светофор P1 выпадает из кадра, направление формирования изображений камеры 11 изменяется заранее таким образом, что положение светофора P1 в изображении R1 становится положением, в которой не выпадает из кадра светофор P1.

[0039] Соответственно, после того, как транспортное средство 51 приближается к светофору P1, проиллюстрированному на фиг. 8(a), и достигает точки Z2, выпадание светофора P1 из кадра изображения R1 может исключаться без выполнения управления ориентацией в направлении формирования изображений камеры 11. Таким образом, в области от точки Z2 до точки Z3, которая является наиболее важной областью при обнаружении состояния подсвечивания светофора P1, исключается необходимость изменять направление формирования изображений камеры 11, или уменьшается число изменений направления формирования изображений, так что может исключаться возникновение размытости в изображении, захваченном посредством камеры 11. Соответственно, состояние подсвечивания светофора P1 может надежно обнаруживаться, чтобы способствовать автоматическому режиму работы и т.п.

[0040] Кроме того, поскольку модуль 13 задания направления формирования изображений вычисляет величину изменения в направлении формирования изображений из положения на изображении светофора и диапазона движения в будущем на изображении светофора и задает направление формирования изображений на основе диапазона формирования изображений камеры 11 и величины изменения в направлении формирования изображений, можно надежно не допускать выпадания светофора P1 из кадра изображения R1.

[0041] Пояснение модифицированного примера первого варианта осуществления

Далее поясняется модифицированный пример устройства 100 распознавания светофоров согласно первому варианту осуществления. Первый вариант осуществления, описанный выше, сконфигурирован таким образом, что на основе информации D05 текущего положения транспортного средства для транспортного средства и картографической информации D02 (см. фиг. 3), оценивается положение светофора P1, присутствующего в изображении R1, и на основе этого направления перемещения светофора P1, выполняется управление ориентацией в направлении формирования изображений камеры 11.

[0042] Напротив, в устройстве распознавания светофоров согласно модифицированному примеру, модуль 21 оценки положений светофора, проиллюстрированный на фиг. 3, фактически подвергает изображение в изображении R1 обработке изображений, чтобы за счет этого распознавать положение светофора P1. Затем модуль 22 вычисления величины изменения положения обнаруживает, посредством обработки изображений, положение (x1, y1) светофора P1, распознанного в прошлом, и положение (x2, y2) светофора P1, распознанного в настоящее время, и получает информацию D09 изменений положения обнаружения из обнаруженной информации положения.

[0043] Как пояснено выше, в устройстве распознавания светофоров согласно модифицированному примеру, светофор P1, присутствующий в изображении в изображении R1, распознается посредством обработки изображений, и управление ориентацией в направлении формирования изображений камеры 11 выполняется на основе направления перемещения этого светофора P1, так что обеспечивается более точное управление ориентацией в направлении формирования изображений камеры 11.

[0044] Пояснение второго варианта осуществления

Далее поясняется второй вариант осуществления настоящего изобретения. Общая конфигурация устройства распознавания светофоров согласно второму варианту осуществления является идентичной общей конфигурации, описанной на фиг. 1, но отличается по конфигурации модуля 13 задания направления формирования изображений. В дальнейшем в этом документе, поясняется конфигурация модуля 13 задания направления формирования изображений согласно второму варианту осуществления со ссылкой на блок-схему, проиллюстрированную на фиг. 9.

[0045] Как проиллюстрировано на фиг. 9, модуль 13 задания направления формирования изображений включает в себя модуль 26 определения маршрутов движения, модуль 21 оценки положений светофора, модуль 23 задания ориентаций обработки изображений, контроллер 24 ориентаций камеры и модуль 25 вычисления областей обнаружения. Второй вариант осуществления отличается от вышеописанного первого варианта осуществления тем, что "модуль 26 определения маршрутов движения" предоставляется вместо "модуля 22 вычисления величины изменения положения", проиллюстрированного на фиг. 3. Компоненту, идентичному компоненту по фиг. 3, присваивается идентичная ссылка с номером, с тем чтобы опускать пояснение его конфигурации.

[0046] Модуль 26 определения маршрутов движения принимает вводы картографической информации D02 и информации D05 текущего положения транспортного средства и получает, с использованием этих фрагментов информации, маршрут, по которому должно двигаться транспортное средство 51. Например, на основе картографической информации D02, путь движения, по которому в данный момент движется транспортное средство 51, обнаруживается, и кроме того, то, в какой положения на этом пути движения движется транспортное средство 51, обнаруживается из информации D05 текущего положения транспортного средства. Затем маршрут, которому транспортное средство 51 должно двигаться в дальнейшем, оценивается из этого результата обнаружения и выводится в качестве информации D12 маршрута движения. Например, когда транспортное средство 51 движется на ближней стороне искривленной дороги, и оценивается то, что оно затем въезжает на эту искривленную дорогу (см. транспортное средство 51 на фиг. 11(a), описанном ниже), информация в отношении направления изгиба (направления влево или вправо) и радиуса кривизны этой искривленной дороги выводится в качестве информации D12 маршрута движения.

[0047] Модуль 23 задания ориентаций обработки изображений определяет направление формирования изображений камеры 11 на основе информации D12 маршрута движения и информации D08 положения обнаружения, выводимой из модуля 21 оценки положений светофора. В частности, модуль 23 задания ориентаций обработки изображений прогнозирует, в соответствии с состоянием движения транспортного средства 51, изменение направления формирования изображений, когда камера 11 формирует изображение светофора P1, и определяет направление формирования изображений камеры 11 таким образом, что светофор P1 не выпадает из кадра изображения R1, даже когда изменение возникает в направлении формирования изображений.

[0048] Далее поясняется работа устройства распознавания светофоров согласно второму варианту осуществления со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 10. Во-первых, на этапе S31, модуль 21 оценки положений светофора, проиллюстрированный на фиг. 9, вычисляет положение светофора в изображении R1, захваченном посредством камеры 11, на основе картографической информации D02 и информации D05 текущего положения транспортного средства. Эта обработка выполняется с предварительно определенным циклом вычисления.

[0049] На этапе S32, модуль 26 определения маршрутов движения получает, из картографической информации D02, маршрут, по которому транспортное средство 51 должно двигаться согласно оценке в будущем, и прогнозирует, на основе информации D05 текущего положения транспортного средства для транспортного средства 51, перемещение светофора в изображении R1.

[0050] На этапе S33, модуль 23 задания ориентаций обработки изображений оценивает то, выпадает или нет светофор в изображении R1 из кадра этого изображения R1. В этой обработке, на основе условий маршрута движения транспортного средства 51, модуль 23 задания ориентаций обработки изображений оценивает, из информации в отношении направления движения транспортного средства 51 и т.п., когда это транспортное средство 51 приближается к перекрестку, на котором устанавливается светофор, то, выпадает или нет светофор из кадра изображения.

[0051] Если оценивается то, светофор выпадает из кадра ("Да" на этапе S33), то на этапе S34, контроллер 24 ориентаций камеры задает направление формирования изображений камеры 11, с тем чтобы выполнять управление ориентацией таким образом, что светофор не выпадает из кадра изображения R1, либо таким образом, что число изменений направления формирования изображений попадает в пределы минимума, даже если светофор неизбежно выпадает из кадра. Ниже описывается управление ориентацией в направлении формирования изображений камеры 11 со ссылкой на фиг. 11-13. На этапе S35, контроллер 24 ориентаций камеры управляет ориентацией в направлении формирования изображений камеры 11 таким образом, что она находится в заданном направлении формирования изображений. Затем, процедура обработки переходит к этапу S36.

[0052] С другой стороны, если оценивается то, что светофор не выпадает из кадра ("Нет" на этапе S33), процедура обработки переходит к этапу S36. На этапе S36, модуль 25 вычисления областей обнаружения задает область обнаружения для обнаружения светофора из изображения R1, захваченного посредством камеры 11. При таком задании, когда транспортное средство 51 приближается к перекрестку, на котором устанавливается светофор, может исключаться выпадание этого светофора из кадра изображения R1.

[0053] Далее подробно поясняется вышеописанная обработка на этапе S34 со ссылкой на фиг. 11-13. Например, рассматривается в качестве примера и поясняется случай, в котором транспортное средство 51 движется по искривленной дороге X2, изгибающейся в направлении вправо, и едет по направлению к перекрестку, на котором устанавливается светофор P1, как проиллюстрировано на фиг. 11(a). Как проиллюстрировано на фиг. 11(a), транспортное средство 51 продолжает ехать к точкам Z1, Z2, Z3 и Z4.

[0054] Теперь, допустим, что в точке Z1, проиллюстрированной на фиг. 11(a), светофор P1 присутствует в нижнем левом углу изображения R1, как указано посредством ссылки с номером b1 по фиг. 11(b). Укрупненный вид означенного проиллюстрирован на фиг. 12. Затем, по мере того, как транспортное средство 51 движется по искривленной дороге X2, светофор P1 перемещается, к примеру, по кривой L1 относительно изображения R1, проиллюстрированного на фиг. 12. Следует отметить, что Z1-Z4, проиллюстрированные на фиг. 12, соответствуют точкам Z1-Z4, проиллюстрированным на фиг. 11(a). Соответственно, если направление формирования изображений камеры 11 не изменяется, чтобы перемещать изображение R1, светофор P1 выпадает из кадра изображения R1.

[0055] Перемещение светофора P1 согласно траектории перемещения, указываемой посредством кривой L1 в изображении R1, является информацией, которая может получаться заранее из картографической информации D02 и информации D05 текущего положения транспортного средства для транспортного средства. Затем контроллер 24 ориентаций камеры оценивает то, что положение светофора P1 изменяется, к примеру, по кривой L1, проиллюстрированной на фиг. 12, и выполняет управление ориентацией в направлении формирования изображений камеры 11 таким образом, что светофор P1 не выпадает из кадра изображения R1, даже когда возникает изменение, к примеру, по кривой L1.

[0056] В частности, когда светофор присутствует в нижнем левом углу изображения R1, как указано посредством ссылки с номером b1 по фиг. 11(b), в момент времени, когда транспортное средство 51 достигает точки Z1, проиллюстрированной на фиг. 11(a), управление ориентацией в направлении формирования изображений камеры 11 выполняется таким образом, что светофор располагается немного слева от центра изображения R1, как указано посредством ссылки с номером c1 по фиг. 11(c).

[0057] После этого, когда транспортное средство 51 достигает точки Z2, светофор P1 располагается в левом конце изображения R1, как указано посредством ссылки с номером c2. Кроме того, когда транспортное средство 51 достигает точек Z3 и Z4, светофор P1 располагается в изображении R1, как указано посредством ссылок с номерами c3 и c4. Таким образом, в момент времени, когда транспортное средство 51 достигает точки Z1, перемещение светофора в изображении R1 прогнозируется на основе маршрута движения в будущем транспортного средства 51 и информации D05 текущего положения транспортного средства для транспортного средства 51, и на основе этого прогнозирования, управление ориентацией в направлении формирования изображений камеры 11 выполняется заранее. Как результат, после проезда через точку Z1, светофор P1 может захватываться в изображении R1 без выполнения управления ориентацией в направлении формирования изображений камеры 11.

[0058] Далее, для сравнения с управлением ориентацией в направлении формирования изображений камеры 11, проиллюстрированной на фиг. 11, поясняется случай, в котором направление формирования изображений камеры 11 изменяется только на основе направления перемещения светофора P1 в изображении R1, т.е. случай, в котором направление формирования изображений камеры 11 изменяется без оценки маршрута движения транспортного средства 51, со ссылкой на фиг. 13. Фиг. 13(a) иллюстрирует положение транспортного средства 51 и искривленную дорогу X2, которая представляет собой маршрут движения этого транспортного средства 51, и является видом, идентичным виду по фиг. 11(a). После этого, когда светофор P1 присутствует в нижнем левом углу в изображении R1, и этот светофор P1 должен перемещаться влево, как указано посредством ссылки с номером b1 по фиг. 13(b), направление формирования изображений камеры 11 изменяется таким образом, что светофор P1 располагается на правой стороне относительно изображения R1, как указано посредством ссылки с номером c1 по фиг. 13(c).

[0059] Затем, как только транспортное средство 51 достигает точки Z2, светофор P1 перемещается в направлении сверху справа в это время, как указано посредством ссылки с номером c2. Соответственно, когда транспортное средство 51 достигает точки Z3, вероятность выпадания светофора P1 из кадра в изображении R1 увеличивается, как указано посредством ссылки с номером c3. Соответственно, в момент времени, когда транспортное средство 51 достигает точки Z3, направление формирования изображений камеры 11 изменяется таким образом, что светофор P1 располагается на левой стороне относительно изображения R1, как указано посредством ссылки с номером d1 по фиг. 13(d). Затем в момент времени, когда транспортное средство 51 достигает точки Z4, светофор P1 располагается, в общем, в центре изображения R1, как указано посредством ссылки с номером d2 по фиг. 13(d).

[0060] Как пояснено выше, в примере, проиллюстрированном на фиг. 13, хотя выпадание светофора P1 из кадра изображения R1 может исключаться, направление формирования изображений изменяется два раза до тех пор, пока транспортное средство 51 не достигает точки Z4 из точки Z1. Как результат, увеличивается время, требуемое для управления ориентацией в направлении формирования изображений камеры 11, и в силу этого может уменьшаться точность для того, чтобы обнаруживать состояние подсвечивания светофора P1.

[0061] Напротив, в устройстве распознавания светофоров согласно второму варианту осуществления, ориентация в направлении формирования изображений камеры 11 управляется на основе искривленной дороги X2, которая представляет собой маршрут движения транспортного средства 51, и в силу этого, как проиллюстрировано на фиг. 11, если направление формирования изображений камеры 11 изменяется в момент времени, когда транспортное средство 51 достигает точки Z1, которая представляет собой точку на достаточно большом расстоянии от светофора P1, то светофор P1 не выпадает из кадра изображения R1. Соответственно, исключается необходимость изменять направление формирования изображений камеры 11 после того, как транспортное средство 51 приближается к светофору P1.

[0062] Таким образом, в устройстве 100 распознавания светофоров согласно второму варианту осуществления, модуль 13 задания направления формирования изображений включает в себя модуль 26 определения маршрутов движения, который оценивает маршрут движения транспортного средства 51 заранее, чтобы за счет этого прогнозировать диапазон движения светофора P1 в изображении R1. Таким образом, прогнозируется диапазон движения в будущем на изображении светофора. Затем на основе этого диапазона движения, направление формирования изображений камеры 11 изменяется таким образом, что светофор не выпадает из кадра.

[0063] Соответственно, даже в случае, если светофор P1 сложно перемещается в изображении R1, к примеру, в случае, если транспортное средство 51 движется по искривленной дороге, выпадание из кадра светофора P1 может исключаться с минимальным необходимым изменением направления формирования изображений. Как результат, необходимость изменять направление формирования изображений камеры 11 в точке Z2 на точку Z4, приближающуюся к светофору P1, исключается, и в силу этого изменение состояния подсвечивания светофора P1 может надежно обнаруживаться, чтобы надежно определять то, следует останавливаться или двигаться через перекресток.

[0064] Пояснение третьего варианта осуществления

Далее поясняется третий вариант осуществления настоящего изобретения. В вышеописанном первом варианте осуществления и втором варианте осуществления, показано, что направление формирования изображений камеры 11 изменяется в точке Z1, которая представляет собой точку на достаточно большом расстоянии от перекрестка, на котором присутствует светофор P1, чтобы исключать дальнейшую необходимость изменять направление формирования изображений камеры 11.

[0065] В третьем варианте осуществления, при условии, что транспортное средство 51 автоматически управляется, и область (в дальнейшем называемая "областью ограничения изменения") для ограничения изменения направления формирования изображений камеры задается перед светофором P1. Затем осуществляется такое управление, что светофор P1 не выпадает из кадра в изображении R1 без изменения направления формирования изображений камеры 11 в этой области ограничения изменения. В дальнейшем в этом документе, подробнее поясняется третий вариант осуществления со ссылкой на фиг. 14 и фиг. 15. Следует отметить, что поскольку конфигурация устройства является идентичной конфигурациям по фиг. 1-3, проиллюстрированным в первом варианте осуществления, ее пояснение опускается.

[0066] Фиг. 14(a) является пояснительным видом, иллюстрирующим область Q1 ограничения изменения, заданную перед светофором P1. При приближении к светофору P1, автоматически управляемое транспортное средство 51 отслеживает состояние подсвечивания (состояние подсвечивания красным, зеленым цветом и т.д.) этого светофора P1 и определяет, в соответствии с этим состоянием подсвечивания, то, следует останавливать транспортное средство 51 или разрешать транспортному средству 51 продолжать двигаться как обычно. Область, которая требует этого определения, задается в качестве вышеописанной области Q1 ограничения изменения. Таким образом, как только направление формирования изображений камеры 11 изменяется, уменьшается точность для того, чтобы обнаруживать состояние подсвечивания, и в силу этого область, которая требует этого определения, задается в качестве области Q1 ограничения изменения таким образом, что может точно обнаруживаться состояние подсвечивания светофора P1. Здесь, область Q1 ограничения изменения может задаваться на основе положения остановки, предусмотренной относительно светофора P1, скорости движения транспортного средства 51, информации D05 текущего положения транспортного средства и картографической информации D02.

[0067] Например, как проиллюстрировано на фиг. 14(a), в точке Z1, в которой транспортное средство не достигает области Q1 ограничения изменения, имеется достаточное расстояние от транспортного средства 51 до светофора P1, и в силу этого изменение направления формирования изображений камеры 11 не затрагивает обнаружение состояния подсвечивания светофора P1. Кроме того, в точке Z2, в которой транспортное средство 51 проезжает через область Q1 ограничения изменения, определение того, транспортное средство 51 должно останавливаться или продолжать двигаться, уже закончено, и в силу этого изменение направления формирования изображений камеры 11 не оказывает большое влияние на управление движением для автоматического режима работы транспортного средства 51.

[0068] Соответственно, в третьем варианте осуществления, задается область Q1 ограничения изменения, и ориентация камеры 11 управляется таким образом, чтобы изменять направление формирования изображений камеры 11 в точках, отличных от этой области Q1 ограничения изменения.

[0069] В частности, в точке Z1 светофор P1, присутствующий в изображении R1 присутствует немного слева от центра, как указано посредством ссылки с номером b1 по фиг. 14(b), и в силу этого в этот момент времени определяется то, что светофор P1 не выпадает из кадра. Тем не менее, поскольку транспортное средство 51 достигает точки Z1, которая находится непосредственно перед областью Q1 ограничения изменения, направление формирования изображений камеры 11 изменяется в этот момент времени. Как результат, светофор P1 управляется таким образом, что он располагается в нижнем левом углу в изображении R1, как указано посредством ссылки с номером c1 по фиг. 14(c). Затем, до того, как транспортное средство 51 проезжает через внутреннюю часть области Q1 ограничения изменения и достигает точки Z2, светофор P1 может захватываться без выпадания из кадра в изображении R1, как указано посредством ссылок с номером c2 и c3 по фиг. 14(c).

[0070] Напротив, в случае если область Q1 ограничения изменения не задается, направление формирования изображений камеры 11 изменяется в области Q1 ограничения изменения, как проиллюстрировано на фиг. 15. Таким образом, в момент времени, когда транспортное средство 51 достигает точки Z1 на фиг. 15(a), светофор P1 присутствует немного справа от центра изображения R1, как указано посредством ссылки с номером b1 по фиг. 15(b), и в силу этого не определяется то, что этот светофор P1 выпадает из кадра в изображении R1. Затем определяется то, что светофор P1 выпадает из кадра в момент времени, когда он располагается в правом конце изображения R1 (когда транспортное средство 51 располагается в области Q1 ограничения изменения на фиг. 15(a)), как указано посредством ссылки с номером b2. Следовательно, в этот момент времени, направление формирования изображений камеры 11 изменяется.

[0071] Как результат, светофор P1 управляется таким образом, что он поступает в нижний левый угол изображения R1, как указано посредством ссылки с номером c1 по фиг. 15(c). По мере того, как транспортное средство 51 движется дальше, в момент времени, когда транспортное средство 51 достигает точки Z2, светофор P1 располагается немного справа от центра в изображении R1, как указано посредством ссылки с номером c2 по фиг. 15(c). В этом случае, направление формирования изображений камеры 11 изменяется в области Q1 ограничения изменения, в которой требуется результат распознавания состояния подсвечивания светофора P1.

[0072] Соответственно, направление формирования изображений камеры 11 изменяется в области, в которой требуется определение того, должно транспортное средство 51 останавливаться или продолжать двигаться, в соответствии с состоянием подсвечивания светофора P1, и это изменение направления формирования изображений может уменьшать точность для того, чтобы обнаруживать светофор P1.

[0073] В устройстве 100 распознавания светофоров согласно третьему варианту осуществления, поскольку область Q1 ограничения изменения задается перед светофором P1, как проиллюстрировано на фиг. 14, и изменение направления формирования изображений камеры 11 в этой области Q1 ограничения изменения запрещается, можно предотвращать выпадание светофора P1 из кадра в изображении R1 и точно обнаруживать состояние подсвечивания светофора P1. Как результат, может надлежащим образом определяться то, следует останавливать транспортное средство 51 или разрешать транспортному средству 51 двигаться.

[0074] Кроме того, область Q1 ограничения изменения изменяется в соответствии со скоростью, замедлением G транспортного средств и расстоянием до стоп-линии. Посредством задания области Q1 ограничения изменения в соответствии с этим изменением, время для того, чтобы требовать результата распознавания светофора P1, и время для того, чтобы изменять направление формирования изображений камеры 11, могут надежно сдвигаться друг от друга.

[0075] Пояснение модифицированного примера третьего варианта осуществления

В вышеописанном третьем варианте осуществления, управление выполняется таким образом, чтобы предотвращать выпадание светофора P1 из кадра в изображении R1 посредством задания области Q1 ограничения изменения для запрета изменения направления формирования изображений камеры 11 перед светофором P1 и посредством изменения направления формирования изображений камеры 11 в момент времени до того, как транспортное средство 51 достигает этой области Q1 ограничения изменения.

[0076] Обнаружение состояния подсвечивания светофора P1 выполняется для каждого предварительно определенного цикла вычисления, и может использоваться только изображение, из изображений, захваченных посредством камеры 11, например, в начальный момент времени цикла вычисления. В таком случае, во временной зоне, в которой изображение, захваченное посредством камеры 11 в этом цикле вычисления, не используется, даже изменение направления формирования изображений камеры 11 не затрагивает обнаружение состояния подсвечивания светофора P1.

[0077] Затем в устройстве распознавания светофоров согласно модифицированному примеру, в то время как транспортное средство 51 движется в области Q1 ограничения изменения, временная зона классифицируется на временную зону (в дальнейшем называемую "временной зоной использования изображений"), в которой используется изображение, захваченное посредством камеры 11, и временную зону (в дальнейшем называемую "временной зоной изменения"), в которой не используется изображение, захваченное посредством камеры 11, и направление формирования изображений камеры 11 может изменяться, и область запрета на изменение задается только во "временной зоне использования изображений", с тем чтобы запрещать изменение направления формирования изображений.

[0078] В частности, как проиллюстрировано на фиг. 16(a), в области Q1 ограничения изменения, задаются область Qa, соответствующая "временной зоне использования изображений", и область Qb, соответствующая "временной зоне изменения". Эти области Qa и Qb могут задаваться на основе скорости движения транспортного средства 51 и цикла вычисления в модуле 14 распознавания светофоров. Затем, для области Qb, разрешается изменение направления формирования изображений камеры 11.

[0079] Соответственно, например, точка Z2 в области Q1 ограничения изменения располагается в области Qb, так что может изменяться направление формирования изображений камеры 11. Соответственно, когда транспортное средство 51 движется в точке Z1, как проиллюстрировано на фиг. 16(b), направление формирования изображений камеры 11 не изменяется, поскольку светофор P1 не выпадает из кадра, как указано посредством ссылки с номером b1 по фиг. 16(b). Затем в момент времени, когда транспортное средство 51 достигает точки Z2, определяется то, что светофор P1 выпадает из кадра изображения R1, как указано посредством ссылки с номером b2, так что изменяется направление формирования изображений камеры 11. Как результат, светофор P1 располагается в нижнем левом углу в изображении R1, как указано посредством ссылки с номером c1 по фиг. 16(c), и затем светофор P1 не выпадает из кадра изображения R1, даже когда транспортное средство 51 достигает точки Z3, как указано посредством ссылки с номером c2 по фиг. 16.

[0080] Таким образом, в устройстве 100 распознавания светофоров согласно модифицированному примеру третьего варианта осуществления, область Qa, соответствующая "временной зоне использования изображений", и область Qb, соответствующая "временной зоне изменения", задаются на основе цикла вычисления модуля 14 распознавания светофоров, и для области Qb, изменение направления формирования изображений камеры 11 разрешается. Соответственно, даже когда транспортное средство 51 въезжает в область Q1 ограничения изменения, направление формирования изображений камеры 11 может изменяться в ходе движения в области Qb, и может более надежно не допускаться выпадание светофора P1 из кадра изображения R1.

[0081] Пояснение четвертого варианта осуществления

Далее поясняется четвертый вариант осуществления настоящего изобретения. Следует отметить, что поскольку конфигурация устройства является идентичной конфигурациям по фиг. 1-3, проиллюстрированным в первом варианте осуществления, ее пояснение опускается.

[0082] В четвертом варианте осуществления, когда имеются два светофора, которые должны отслеживаться, управление ориентацией в направлении формирования изображений камеры 11 выполняется таким образом, что оба светофора не выпадают из кадра изображения. В дальнейшем в этом документе, подробнее поясняется четвертый вариант осуществления со ссылкой на фиг. 17. Как проиллюстрировано на фиг. 17(a), когда имеются два светофора P1 и P2 вдоль пути X3 движения транспортного средства 51, и изображения обоих светофоров могут формироваться, управление ориентацией в направлении формирования изображений камеры 11 выполняется таким образом, что оба светофора P1 и P2 не выпадают из кадра изображения R1.

[0083] Соответственно, когда транспортное средство 51 достигает точки Z1, получается изображение R1, в котором присутствуют два светофора P1 и P2, как указано посредством ссылки с номером b1 по фиг. 17(b). Затем, когда транспортное средство 51 достигает точки Z2, определяется то, что светофор P2 выпадает из кадра изображения R1, как указано посредством ссылки с номером b2. В этом случае, направление формирования изображений камеры 11 изменяется в этой точке Z2. Как результат, как указано посредством ссылки с номером c1 по фиг. 17(c), задается направление формирования изображений камеры 11, и ориентация в этом направлении управляется таким образом, что светофоры P1 и P2 располагаются на левой стороне в изображении R1. Таким образом, осуществляется такое управление, что левосторонний светофор P1 из двух светофоров P1 и P2 располагается на левой стороне относительно изображения R1, и оба светофора P1 и P2 не выпадают из кадра.

[0084] Кроме того, когда транспортное средство 51 достигает точки Z3, определяется то, что светофор P2 выпадает из кадра изображения R1, как указано посредством ссылки с номером c2 по фиг. 17(c). В этом случае, направление формирования изображений камеры 11 изменяется в этой точке Z3. Как результат, как указано посредством ссылки с номером d1 по фиг. 17(d), задается направление формирования изображений камеры 11, и ориентация в этом направлении управляется таким образом, что светофоры P1 и P2 располагаются на левой стороне в изображении R1.

[0085] Затем, когда транспортное средство 51 достигает точки Z4, определяется то, что светофор P2 выпадает из кадра в изображении R1, как указано посредством ссылки с номером d2 по фиг. 17(d). В этом случае, направление формирования изображений камеры 11 изменяется в этой точке Z4. Как результат, как указано посредством ссылки с номером e1 по фиг. 17(e), задается направление формирования изображений камеры 11, и ориентация в этом направлении управляется таким образом, что светофоры P1 и P2 располагаются на левой стороне в изображении R1. Затем в момент времени, когда транспортное средство 51 достигает точки Z5, оба светофора P1 и P2 захватываются без выпадания из кадра в изображении R1.

[0086] Таким образом, в устройстве 100 распознавания светофоров согласно четвертому варианту осуществления, даже когда имеются два светофора P1 и P2, каждый из светофоров P1 и P2 может продолжать отображаться без выпадания из кадра изображения R1. Здесь, в примере, проиллюстрированном на фиг. 17, управление ориентацией в направлении формирования изображений камеры 11 выполняется в трех точках Z2, Z3 и Z4, проиллюстрированных на фиг. 17(a). Такое управление ориентацией в направлении формирования изображений камеры 11 выполняется в области Qb, соответствующей периоду, в который изображение, захваченное посредством камеры 11 в обработке распознавания сигналов, не используется, как проиллюстрировано на фиг. 16, описанном выше, так что направление формирования изображений камеры 11 может изменяться без воздействия на точность обнаружения состояния светофора.

[0087] Следует отметить, что в четвертом варианте осуществления, описанном выше, пояснен пример, в котором когда имеются два светофора P1 и P2, задается направление формирования изображений камеры 11, и ориентация в этом направлении управляется таким образом, что каждый из этих светофоров P1 и P2 не выпадает из кадра изображения R1. Тем не менее, настоящее изобретение не ограничено случаем, в котором имеются два светофора, и аналогично может применимым к случаям, в которых имеются три или более светофоров.

[0088] Пояснение пятого варианта осуществления

Далее поясняется пятый вариант осуществления настоящего изобретения. Следует отметить, что поскольку конфигурация устройства является идентичной конфигурациям по фиг. 1-3, проиллюстрированным в первом варианте осуществления, ее пояснение опускается.

[0089] В пятом варианте осуществления, когда имеются два светофора, которые должны отслеживаться, и светофоры работают синхронно, задается направление формирования изображений камеры 11, и ориентация в этом направлении управляется таким образом, чтобы не предпочтительно выпускать из кадра светофор, из двух светофоров, величина перемещения которых в изображении R1 меньше. В дальнейшем в этом документе, подробнее поясняется пятый вариант осуществления со ссылкой на фиг. 18. Как проиллюстрировано на фиг. 18(a), когда имеется два светофора P1 и P2 вдоль пути движения транспортного средства 51, каждый из светофоров P1 и P2 захватывается в центре изображения R1, захваченного в точке Z1 посредством камеры 11, как указано посредством ссылки с номером b1 по фиг. 18(b). После этого, когда каждый из светофоров P1 и P2 работает синхронно, т.е. когда цвета подсвечивания изменяются одновременно, управление ориентацией в направлении формирования изображений камеры 11 выполняется таким образом, что светофор P1, из соответствующих светофоров P1 и P2, величина перемещения которых в изображении R1 оценивается как меньшая, не выпадает из кадра изображения R1.

[0090] Таким образом, в момент времени, когда транспортное средство 51 достигает точки Z2, управление ориентацией в направлении формирования изображений камеры 11 не выполняется, даже когда определяется то, что светофор P2 выпадает из кадра, как указано посредством ссылки с номером b2 по фиг. 18(b). Затем в момент времени, когда транспортное средство 51 достигает точки Z3, когда определяется то, что светофор P1 выпадает из кадра, как указано посредством ссылки с номером b3, управление ориентацией в направлении формирования изображений камеры 11 выполняется таким образом, что светофор P1 располагается на левой стороне относительно изображения R1, как указано посредством ссылки с номером c1 по фиг. 18(c). Затем, когда транспортное средство 51 достигает точек Z4 и Z5, светофор P1 захватывается без выпадания из кадра изображения R1, как указано посредством ссылок с номером c2 и c3, соответственно. Как результат, может надежно распознаваться состояние подсвечивания светофора P1. Не говоря уже о том, что поскольку светофор P2 работает синхронно со светофором P1, не возникает проблем, даже если состояние подсвечивания светофора P2 не может обнаруживаться.

[0091] Кроме того, управление ориентацией в направлении формирования изображений камеры 11 в точке Z3 выполняется в области Qb, соответствующей периоду, в который изображение, захваченное посредством камеры 11 в обработке распознавания сигналов, не используется, как проиллюстрировано на фиг. 16, описанном выше, так что направление формирования изображений камеры 11 может изменяться без воздействия на точность обнаружения состояния светофора.

[0092] Таким образом, в устройстве распознавания светофоров согласно пятому варианту осуществления, когда два светофора P1 и P2, работающих синхронно друг с другом, присутствуют в изображении R1, захваченном посредством камеры 11, осуществляется такое управление, что один (светофор P1 в вышеуказанном примере) из светофоров не выпадает из кадра изображения R1. Следовательно, может уменьшаться число изменений направления формирования изображений камеры 11, и может надежно обнаруживаться состояние подсвечивания светофора.

[0093] В вышеприведенном описании, устройство распознавания светофоров и способ распознавания светофоров настоящего изобретения пояснены на основе проиллюстрированных вариантов осуществления, но настоящее изобретение не ограничено этим. Конфигурация каждого модуля может быть заменена любой конфигурацией, имеющей аналогичную функцию.

Список ссылочных положений

[0094] 11 - камера (модуль формирования изображений)

12 - детектор текущего положения транспортного средства

13 - модуль задания направления формирования изображений

14 - модуль распознавания светофоров

21 - модуль оценки положений светофора

22 - модуль вычисления величины изменения положения

23 - модуль задания ориентаций обработки изображений

24 - контроллер ориентаций камеры

25 - модуль вычисления областей обнаружения

26 - модуль определения маршрутов движения

51 - транспортное средство

100 - устройство распознавания светофоров

D01 - информация ориентиров

D02 - картографическая информация

D03 - информация камеры

D04 - информация светофоров

D05 - информация текущего положения транспортного средства

D06 - информация области обнаружения

D07 - данные изображений

D08 - информация положения обнаружения

D09 - информация изменений положения обнаружения

D10 - информация ориентации обработки изображений

D11 - информация ориентации

D12 - информация маршрута движения

P1, P2 - светофор

Q1 - область ограничения изменения

R1 - изображение

X1 - путь движения

X2 - искривленная дорога

X3 - путь движения

Группа изобретений относится к устройству и способу распознавания светофоров. Устройство, осуществляющее способ распознавания светофоров, включает в себя камеру, модуль получения картографической информации, детектор текущего положения транспортного средства и модуль оценки положений светофора. Устройство дополнительно включает в себя модуль задания ориентаций обработки изображений, выполненный с возможностью задавать направление формирования изображений камеры на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора, контроллер ориентаций камеры, выполненный с возможностью изменять заранее направление формирования изображений камеры на направление формирования изображений, заданное посредством модуля задания направления формирования изображений, а также модуль распознавания светофоров, выполненный с возможностью распознавать светофор из изображения. Обеспечивается точное обнаружение состояния подсвечивания светофора без влияния посредством ориентации камеры. 3 н. и 6 з.п. ф-лы. 18 ил.

1. Устройство распознавания светофоров, содержащее:

модуль формирования изображений, установленный на транспортном средстве и выполненный с возможностью захватывать изображение вокруг транспортного средства;

модуль получения картографической информации, выполненный с возможностью получать картографическую информацию вокруг транспортного средства;

детектор текущего положения транспортного средства, выполненный с возможностью обнаруживать текущее положение на карте транспортного средства;

модуль оценки положений светофора, выполненный с возможностью оценивать положение на изображении светофора на основе текущего положения и картографической информации;

модуль задания направления формирования изображений, выполненный с возможностью задавать направление формирования изображений в модуле формирования изображений на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора;

модуль изменения направления формирования изображений, выполненный с возможностью изменять направление формирования изображений в модуле формирования изображений на направление формирования изображений, заданное посредством модуля задания направления формирования изображений; и

модуль распознавания светофоров, выполненный с возможностью распознавать светофор из изображения, захваченного в направлении формирования изображений посредством модуля формирования изображений, при этом:

модуль изменения направления формирования изображений задает точку или область изменения, в которой модуль изменения направления формирования изображений изменяет направление формирования изображений в модуле формирования изображений, на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора и

модуль изменения направления формирования изображений изменяет направление формирования изображений, когда транспортное средство достигает точки или области изменения,

причем управление ориентацией в направлении формирования изображений выполняется заранее.

2. Устройство распознавания светофоров, содержащее:

модуль формирования изображений, установленный на транспортном средстве и выполненный с возможностью захватывать изображение вокруг транспортного средства;

модуль получения картографической информации, выполненный с возможностью получать картографическую информацию вокруг транспортного средства;

детектор текущего положения транспортного средства, выполненный с возможностью обнаруживать текущее положение на карте транспортного средства;

модуль оценки положений светофора, выполненный с возможностью оценивать положение на изображении светофора на основе текущего положения и картографической информации;

модуль задания направления формирования изображений, выполненный с возможностью задавать направление формирования изображений в модуле формирования изображений на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора;

модуль изменения направления формирования изображений, выполненный с возможностью изменять направление формирования изображений в модуле формирования изображений на направление формирования изображений, заданное посредством модуля задания направления формирования изображений; и

модуль распознавания светофоров, выполненный с возможностью распознавать светофор из изображения, захваченного в направлении формирования изображений посредством модуля формирования изображений, при этом

модуль задания направления формирования изображений задает, когда изображения множества светофоров, работающих синхронно, могут формироваться посредством модуля формирования изображений, направление формирования изображений в модуле формирования изображений на основе направления перемещения светофора, из множества светофоров, работающих синхронно, величина перемещения которых на изображении становится минимумом.

3. Устройство распознавания светофоров по п. 1 или 2, в котором

модуль задания направления формирования изображений задает направление формирования изображений в модуле формирования изображений на основе положения на изображении светофора и диапазона движения в будущем на изображении светофора.

4. Устройство распознавания светофоров по п. 1 или 2, в котором

модуль задания направления формирования изображений вычисляет величину изменения в направлении формирования изображений из положения на изображении светофора и в диапазоне движения в будущем на изображении светофора и задает направление формирования изображений на основе диапазона формирования изображений в модуле формирования изображений и величины изменения.

5. Устройство распознавания светофоров по п. 3, в котором

модуль задания направления формирования изображений прогнозирует диапазон движения в будущем на изображении светофора на основе маршрута движения в будущем транспортного средства.

6. Устройство распознавания светофоров по п. 1 или 2, в котором

модуль задания направления формирования изображений задает, когда изображения множества светофоров могут формироваться посредством модуля формирования изображений, направление формирования изображений в модуле формирования изображений таким образом, что множество светофоров включено в изображение.

7. Устройство распознавания светофоров по п. 1 или 2, в котором

модуль задания направления формирования изображений задает, на основе расстояния от положения остановки, предоставленного для светофора, до транспортного средства и скорости движения транспортного средства, область ограничения изменения для ограничения изменения направления формирования изображений в модуле формирования изображений и изменяет направление формирования изображений в модуле формирования изображений перед въездом в эту область ограничения изменения.

8. Устройство распознавания светофоров по п. 1 или 2, в котором:

модуль задания направления формирования изображений задает, на основе расстояния от положения остановки, предоставленного для светофора, до транспортного средства и скорости движения транспортного средства, и цикла вычисления для модуля распознавания светофоров, чтобы распознавать светофор, "временную зону изменения" в направлении формирования изображений в модуле формирования изображений; и

модуль изменения направления формирования изображений изменяет направление формирования изображений в модуле формирования изображений во "временной зоне изменения".

9. Способ распознавания светофоров, содержащий этапы, на которых:

захватывают, посредством модуля формирования изображений, изображение вокруг транспортного средства;

получают картографическую информацию вокруг транспортного средства;

обнаруживают текущее положение на карте транспортного средства;

оценивают положение на изображении светофора на основе текущего положения и картографической информации;

задают направление формирования изображений в модуле формирования изображений на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора;

изменяют направление формирования изображений в модуле формирования изображений на заданное направление формирования изображений;

распознают светофор из изображения, захваченного в направлении формирования изображений посредством модуля формирования изображений;

задают точку или область изменения, в которой направление формирования изображений в модуле формирования изображений изменяется, на основе положения на изображении светофора и направления перемещения в будущем на изображении светофора и

изменяют направление формирования изображений в модуле формирования изображений, когда транспортное средство достигает точки или области изменения,

причем управление ориентацией в направлении формирования изображений выполняется заранее.