УСТРОЙСТВО И СПОСОБ РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ Российский патент 2015 года по МПК G08G1/00 

Область техники, к которой относится изобретение

Изобретение относится к устройству и способу распознавания дорожных знаков.

Уровень техники

В последнее время разрабатывались различные варианты реализации автоматического распознавания дорожных знаков с помощью специальных устройств восприятия и анализа окружающей среды в качестве вспомогательного средства для водителей транспортных средств. Системы подобного рода выпускались на рынок как различными производителями оригинальных запчастей, так и производителями портативных навигационных устройств (PND-систем, от PND (англ.)=«portable navigation device»). Как правило, такие системы основаны на сигналах GPS (в будущем также на сигналах Galileo) в сочетании с данными карт, предоставляя водителям информацию о дорожных знаках. Некоторые системы используют камеру для улучшения точности и правильности распознавания. Производители транспортных средств чаще всего предпочитают фронтальные камеры и совмещение их сигналов с данными о движении транспортного средства. Также можно совмещать данные с камеры с устройствами навигации.

Известные подходы обладают различными недостатками. Например, распознаются не все дорожные знаки: в настоящий момент реализуется распознавание, прежде всего, знаков ограничения скорости и запрещения обгона, в то время как дорожные знаки, не соответствующие Венской конвенции о дорожном движении, не распознаются вообще или же распознаются не всегда. Например, оптическим устройством не явно указанные ограничения скорости могут быть не распознаны. Кроме того, встречаются ситуации, когда автоматике сложно оценить условия окружающей среды. К примеру, при наличии нескольких дорожных знаков или же при противоречащих друг другу либо отсутствующих знаках точное распознавание или анализ становится невозможным. Так как информация, основывающаяся на сигналах GPS и Galileo, постоянно устаревает, со временем частота распознавания снижается. Зачастую возникает потребность избежать совмещения двух или более распознающих устройств, причем использование одного устройства желательно также и с точки зрения экономии.

В патенте ЕР 1826736 В1 описывается транспортное средство с устройством для распознавания дорожных знаков, причем в зависимости от вероятности верного распознавания дорожного знака или его регулирующего предназначения можно выбрать один из двух вариантов графического представления дорожного знака на дисплее: один при низкой вероятности, второй при высокой вероятности.

В патенте ЕР 1131803 В1 представлено устройство для распознавания дорожных знаков. При этом в блоке обработки информации анализируются и классифицируются визуальные данные оптического датчика с целью выяснения, присутствуют ли на изображении, передаваемом оптическим датчиком, объекты, которые с достаточной степенью вероятности представляют собой дорожные знаки. Затем эти объекты подвергаются последующей обработке и классификации, причем производится разделение дорожных знаков на группы и подгруппы. После этого характерные для отдельных групп знаков признаки заменяются соответствующими графическими изображениями, хранящимися в запоминающем устройстве, либо соответствующими графическими данными, полученными от оптического датчика, в зависимости от того, с какой степенью вероятности они были распознаны при классификации. Визуальные данные, полученные в результате такой замены, комбинируются в синтетическое изображение дорожного знака, которое сохраняется в запоминающем устройстве и выводится на индикаторный блок. При этом индикаторный блок может, помимо прочего, содержать модуль настройки, задающий максимальную продолжительность отображения синтетического изображения. Также можно настроить индикаторный блок таким образом, что синтетическое изображение будет показываться до тех пор, пока не будет пройдено определенное расстояние.

В патенте DE 29610677 U1 описывается порядок отображения указаний по дорожному движению, который наряду с индикаторной панелью отображения таких указаний для водителя включает датчик, который в зависимости от проезжаемого участка пути включает или отключает индикацию тех или иных указаний.

В патенте DE 19829162 А1 описывается использование электронной камеры и подсоединенного к ней графического распознающего устройства для распознавания дорожных знаков. При этом распознающее устройство может быть возвращено в исходное состояние, например, если транспортное средство объехало дорогу со знаком, ограничивающим скорость движения.

Раскрытие изобретения

Задачей настоящего изобретения является разработка устройства и способа распознавания дорожных знаков, позволяющих добиться эффективной и максимально надежной передачи информации о дорожных знаках.

Данная задача решается путем использования устройства, раскрытого признаками изобретения, описанными в независимом пункте 1 формулы изобретения, и способа, раскрытого признаками изобретения, описанными в независимом пункте 9 формулы изобретения.

При использовании устройства распознавания дорожных знаков согласно изобретению в транспортном средстве, содержащем по меньшей мере один датчик изображений, а также устройство пользовательского интерфейса, которое обрабатывает визуальные данные, полученные от датчика изображений и содержащие информацию о дорожных знаках с учетом ситуации на дороге и окружающей среды, и передает обработанную информацию о дорожных знаках водителю транспортного средства, устройство пользовательского интерфейса предназначено для обработки информации о дорожных знаках в зависимости от параметра, описывающего состояние старения этой информации, при этом передача информации водителю осуществляется различными способами в зависимости от указанного состояния старения.

В основе изобретения лежит, в частности, идея о настройке интерфейса «человек-машина» (англ. HMI=«human machine interface»), далее - «устройство интерфейса», таким образом, чтобы информация о поездке корректировалась с учетом вышеупомянутых факторов. В качестве дополнительного оборудования предусмотрен датчик изображения, например, в виде камеры (как правило, фронтальной). Устройство интерфейса служит в качестве фильтра, собирая информацию, полученную на основе переданных датчиком изображения данных, фильтруя ее с учетом ситуации на дороге и/или условий окружающей среды и соответствующим образом представляя ее водителю. Устройство интерфейса, применяемое в способе или устройстве согласно изобретению, позволяет отображать информацию о дорожных знаках на большом расстоянии и с высокой степенью распознавания.

С иными вариантами осуществления изобретения можно ознакомиться в описании, а также в дополнительных пунктах формулы изобретения.

Ниже суть изобретения объясняется более подробно на основе предпочтительного варианта осуществления изобретения и со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

Фиг.1 - структурная схема для пояснения настоящего изобретения;

фиг.2 - схематическое представление для пояснения предпочтительных вариантов способа распознавания дорожных знаков согласно изобретению;

фиг.3-5 - примеры информации о дорожных знаках, которая может быть отображена в рамках способа согласно изобретению.

Осуществление изобретения

На Фиг.1 показана структурная схема для пояснения устройства согласно изобретению. Устройство содержит по меньшей мере датчик 10 изображений в виде (фронтальной) камеры, а также устройство 40 пользовательского интерфейса, которое обрабатывает полученные от датчика изображений визуальные данные, содержащие информацию о дорожных знаках, с учетом ситуации на дороге (блок 30), например с учетом скорости транспортного средства, скорости рыскания и т.д., и/или с учетом условий окружающей среды (блок 20), например информации от датчика дождя, и передает обработанную информацию о дорожных знаках водителю 50 транспортного средства.

Далее описывается примерный вариант осуществления изобретения, который относится к определенной подгруппе дорожных знаков, в частности к знакам ограничения скорости и проезда, включая информацию, касающуюся возможных дополнительных дорожных знаков или (ограничивающих) условий.

Без данных, полученных на основе навигации, неявные ограничения скорости не могут быть распознаны. Отмена ограничений скорости зачастую также не указывается явным образом, а зависит от определенных дополнительных дорожных знаков или ограничивающих условий ограничений скорости, например расстояния действия знака.

Для большей полноты информации, а также большего процента случаев правильного распознавания в устройстве интерфейса отмечается старение ограничений скорости. В частности, старение информации может зависеть от содержания дорожного знака, а также от дорожной ситуации транспортного средства. Старение может отображаться, например, посредством отличий в цвете, яркости и других видимых признаках показываемых дорожных знаков. Это схематично представлено на Фиг.3, где дорожные знаки 310, 320, 330, 340 по мере старения отличаются все меньшей яркостью. Этот пример рассчитан на трехэтапную систему, где t_x означает продолжительность первого этапа старения, s_x1 - пройденный путь на втором этапе старения, a s_x2 - пройденный путь на третьем этапе старения. Эту систему также можно скорректировать для любого другого числа этапов старения вплоть до непрерывного протекания этого процесса, т.е. через определенное время указанные дорожные знаки «выцветут» полностью.

Старение (как время и расстояние старения вплоть до переключения на следующий знак) может быть определено по-разному в зависимости от дорожного знака. Благодаря этому учитывается то обстоятельство, что высокие ограничения скорости обычно действуют на более длинных участках дороги, чем низкие ограничения скорости. Так как отрезки d пути в любом случае зависят от старения, скорость транспортного средства на дорожном полотне используется в уравнении (1) для изменения времени, указанного на Фиг.2:

$$t_{\mathrm{1,2}}(X,\overline{\nu })=s_{\mathrm{1,2}}/{\overline{\nu }}_{Трансп.ср-ва}\text{ (1)}$$

где $$s_1(X,\overline{\nu })=c_1(X)-b_1\text{(}\overline{\nu }\text{,X}\text{,Z); (2)}$$ c₁≥b₁

и $$s_2(X,\overline{\nu })=c_2(X)-b_2\text{(}\overline{\nu }\text{,X}\text{,Z); (3)}$$ c₂≥b₂.

Здесь $${\overline{\nu }}_{Трансп.ср-ва}\equiv \nu$$ означает среднюю скорость транспортного средства на временном промежутке $$t_{\mathrm{1,2}}(X,\overline{\nu })$$ , а s_1,2 означает дистанцию для соответствующего состояния старения. X означает тип дорожного знака, a Z - возможный дополнительный знак.

В соответствии с вариантами осуществления изобретения в устройстве 40 интерфейса происходит, как будет описано далее, динамическое старение дорожных знаков.

В зависимости от распознанных знаков ограничения скорости и от скорости движения может быть целесообразна динамическая корректировка времени старения, например, если (максимальное или среднее) значение скорости движения на определенном отрезке пути значительно превышает значение, указанное на дорожном знаке ограничения скорости. В таком случае велика вероятность того, что дорожный знак действителен для другой полосы движения (съезда с дороги), поэтому время старения уменьшается. Это ведет к нелинейной зависимости между временем старения и скоростью движения транспортного средства. Это отношение учитывается в уравнениях (2) и (3) с помощью второго члена и соответственно уравновешивается переменной b.

Динамическое старение дорожного знака в устройстве 40 интерфейса показано на диаграмме на Фиг.2. При этом на Фиг.2 t_x означает основанную на времени продолжительность отображения в зависимости от соответствующих особых дорожных знаков, s_x1 и s_x2 означают основанную на пути продолжительность отображения в зависимости от соответствующих особых дорожных знаков, a s'_x1 и s'_x2 означают основанную на пути продолжительность отображения в зависимости от соответствующих особых дорожных знаков и скорости движения транспортного средства.

Последовательность знаков ограничения скорости с уменьшающимся значением скорости на определенном отрезке пути может быть воспринята как ограничения скорости, относящиеся к съезду с дороги. Поэтому если информация о динамике передвижения транспортного средства указывает на то, что съездом с дороги не будут пользоваться, чтобы покинуть данную улицу или дорогу, уровень старения может быть снижен.

Если внутренние данные о состоянии транспортного средства (например, указатель направления движения, степень рыскания) приводят к предположению, что транспортное средство было выведено из текущей дорожной ситуации (например, при обгоне), показанные ограничения скорости и запреты на обгон удаляются. Такой вариант поведения представлен на Фиг.2 в виде проверки на достоверность. Эта функция может быть заблокирована при распознавании определенных дорожных знаков (например, "Лимит скорости 30").

Для того чтобы подходящим и понятным образом сообщить водителю о том, что фронтальной камерой 10 был обнаружен новый дорожный знак, яркость отображаемых в устройстве 40 интерфейса дорожных знаков может быть повышена на определенное время и/или показываемый дорожный знак может мигать для привлечения повышенного внимания водителя.

Для сообщения водителю дополнительной информации о содержании дорожного знака фронтальная камера 10 может распознавать появляющиеся дополнительные знаки или (ограничивающие) условия, которые затем доводятся до сведения водителя. В частности, по меньшей мере, такая информация о дополнительных знаках или условиях, как их наличие/отсутствие («Да»/«Нет»), может быть распознана и отображена, как это показано на Фиг.4.

Часто на одном столбе размещено несколько дорожных знаков, в частности знаков ограничения скорости и запрета обгона. Выбор более значимого знака из этих дорожных знаков пока еще труднореализуем, так как решение данного вопроса может зависеть от текущей дорожной ситуации и условий окружающей среды (например, во время дождя могут действовать совсем другие ограничения скорости, чем в сухую погоду). Чтобы справиться с подобной ситуацией и предоставить водителю больше информации об идентифицированных дорожных знаках, предлагается устройство со сдвоенным интерфейсом, которое в соответствии с Фиг.5 благодаря двойному дисплею 510 может отображать два дорожных знака 511, 512. Оба изображения дорожных знаков 511, 512 обрабатывают независимо друг от друга, так что для каждого из них возможны различные стратегии и сроки старения. Ранее предложенное старение может также независимо влиять на оба отображаемых знака.

Если камера 10 в состоянии распознать причину для появления дополнительного знака, он тут же отображается в устройстве интерфейса. Ранее описанное старение может рассчитывать различные расстояния старения в зависимости от наличия дополнительных знаков, а также от информации, содержащейся в дополнительных знаках или условиях. Такой вариант поведения учтен в уравнениях (2) и (3) через зависимость второго члена от Z.

В зависимости от распознанных дорожных знаков и фактической или текущей скорости транспортного средства водителю может быть предоставлена информация о превышении ограничения скорости. Оповещение производится за счет мигания цифр дорожного знака, отображаемого на дисплее или на приборной доске. В случае сдвоенного дисплея можно указать, на основании какого из двух дорожных знаков (с более высоким ограничением скорости, с более низким ограничением скорости или же в соответствии с ограничением скорости, указанным на дополнительном знаке) будет осуществляться предупреждение о превышении скорости. Водитель может выбрать в меню, при какой разнице (положительной или отрицательной) между скоростью, указанной на соответствующем дорожном знаке, и фактической скоростью он желает получить предупреждение о превышении скорости.

Информация о дополнительных знаках и старении может быть также включена в предупреждения о превышении скорости, например, чтобы предупреждения о превышении скорости не появлялись для устаревших дорожных знаков или же знаков, снабженных дополнительными знаками.

В соответствии с еще одним вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком и дополнительный знак определен как «при мокрой дороге», информация от датчика дождя используется для блокировки информации о дорожном знаке или вывода ее на дисплей или приборную доску. Такой вариант представлен на Фиг.4, при этом сигнал принимается из окружающей среды транспортного средства.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как «временное ограничение», информация о времени от соответствующего транспортного средства может быть использована для блокировки информации о соответствующем дорожном знаке или вывода ее на дисплей или приборную доску.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как «ограничение на обледенелой дороге», информация о температуре транспортного средства может быть использована для блокировки информации о соответствующем дорожном знаке или вывода ее на дисплей или приборную доску.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как «ограничение при тумане», информация о задних противотуманных фарах транспортного средства может быть использована для блокировки информации о соответствующем дорожном знаке или вывода ее на дисплей или приборную доску.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как ограничение «для транспортного средства с прицепом», информация о прицепе транспортного средства может быть использована для блокировки информации о дорожном знаке или вывода ее на дисплей или приборную доску.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как ограничение по весу, информация о весе транспортного средства может быть использована для блокировки информации о соответствующем дорожном знаке или вывода ее на дисплей или приборную доску.

В соответствии с другим вариантом осуществления изобретения в случае, если дорожный знак определен с дополнительным знаком, который определен как ограничение «только для грузовых автомобилей», информация о параметрах конфигурации транспортного средства может быть использована для блокировки информации о соответствующем дорожном знаке или вывода ее на дисплей или приборную доску.

Изобретение относится к устройству и способу распознавания дорожных знаков. Устройство содержит по меньшей мере один датчик изображений, а также устройство пользовательского интерфейса, которое обрабатывает визуальные данные, полученные от датчика изображений и содержащие информацию о дорожных знаках с учетом ситуации на дороге и окружающей среды, и передает обработанную информацию о дорожных знаках водителю транспортного средства. Устройство пользовательского интерфейса выполнено таким образом, чтобы обрабатывать информацию о дорожных знаках в зависимости от одного из параметров, описывающих состояние старения информации о дорожных знаках, при этом передача обработанной информации водителю производится различными способами в зависимости от состояния старения. Обеспечивается эффективная и максимальная надежность передачи информации о дорожных знаках. 2 н. и 7 з.п. ф-лы, 5 ил.

1. Устройство распознавания дорожных знаков в транспортном средстве, содержащее по меньшей мере один датчик (10) изображений, а также устройство (40) пользовательского интерфейса, которое обрабатывает визуальные данные, полученные от датчика изображений и содержащие информацию о дорожных знаках с учетом ситуации на дороге и в окружающей среде, и передает обработанную информацию о дорожных знаках водителю (50) транспортного средства,
отличающееся тем, что
устройство (40) пользовательского интерфейса выполнено с возможностью обработки информации о дорожных знаках в зависимости от параметра, описывающего состояние старения информации о дорожных знаках; при этом передача информации водителю (50) осуществляется различными способами в зависимости от состояния старения информации.

2. Устройство по п.1,
отличающееся тем, что
устройство (40) пользовательского интерфейса выполнено с возможностью непрерывного варьирования способа передачи информации водителю (50) в зависимости от состояния старения.

3. Устройство по п.1,
отличающееся тем, что
устройство (40) пользовательского интерфейса выполнено с возможностью обработки информации о дорожных знаках различными способами в зависимости от параметра, описывающего состояние старения информации о дорожных знаках, зависящего от типа дорожного знака, охарактеризованного информацией о дорожных знаках.

4. Устройство по п.2,
отличающееся тем, что
устройство (40) пользовательского интерфейса выполнено с возможностью обработки информации о дорожных знаках различными способами в зависимости от параметра, описывающего состояние старения информации о дорожных знаках, зависящего от типа дорожного знака, охарактеризованного информацией о дорожных знаках.

5. Устройство по п.1,
отличающееся тем, что
параметр, описывающий состояние старения информации о дорожных знаках, определяется различными способами в зависимости от наличия и, при необходимости, от типа дополнительного дорожного знака, описываемого информацией о дорожном знаке.

6. Устройство по п.1,
отличающееся тем, что
устройство (40) пользовательского интерфейса дополнительно выполнено с возможностью динамического корректирования параметра, описывающего состояние старения информации о дорожных знаках, в зависимости от скорости движения транспортного средства.

7. Устройство по п.1,
отличающееся тем, что
устройство (40) пользовательского интерфейса дополнительно выполнено с возможностью одновременного отображения водителю информации, по меньшей мере, о двух дорожных знаках в двух различных местах дисплея.

8. Устройство по п.7,
отличающееся тем, что
параметр, описывающий состояние старения информации о дорожных знаках, определяется различным образом для указанных мест дисплея.

9. Способ распознавания дорожных знаков в транспортном средстве, в частности, для осуществления устройством по одному из предыдущих пунктов, в котором визуальные данные, содержащие информацию о дорожных знаках, принимают, по меньшей мере, одним датчиком (10) изображения и обрабатывают устройством (40) пользовательского интерфейса с учетом дорожной ситуации и/или условий окружающей среды, а обработанную информацию передают водителю (50) транспортного средства,
отличающийся тем, что
информацию о дорожных знаках обрабатывают в зависимости от параметра, описывающего состояние старения информации о дорожных знаках, а передачу обработанной информации водителю (50) осуществляют различными способами в зависимости от состояния старения.