СПОСОБ ЛОКАЛИЗАЦИИ ДОРОЖНЫХ ЗНАКОВ И РАСПОЗНАВАНИЯ ИХ ГРУПП И ПОДГРУПП Российский патент 2013 года по МПК G06K9/46 

Изобретение относится к области цифровой обработки изображений и может найти применение в системах активной безопасности автомобилей для выработки дополнительных сигналов предупреждения водителю.

Известны методы локализации знаков на изображениях, описанные в работах:

Shneier, М. Road sign detection and recognition [Text] / M.Shneier // Proc. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. - 2005. - P.215-222.

Torresen, J.A Camera Based Speed Limit Sign Recognition System [Text] / J.Torresen, J.W.Bakke, Y.Yang // 13th ITS World Congress and Exhibition. - 2006. - P.115-129.

Saturino Maldonado-Bascon, Sergio Lafuente-Arroyo, Pedro Gil-Jimenez Hi-lario Gomez-Moreno and Francisco Lopez-Ferrers. Road-Sign Detection and Recognition Based on Support Vector Machines // IEEE Transaction on Inteligent Transportation System, vol.8, No.2, June 2007.

Ren, F. General traffic sign recognition by feature matching [Text] / F.Ren, J.Huang, R.Jiang, R.Klette // IEEE 24th Int. Conf. Image and Vision Computing. - 2009. - Issue: Ivcnz. - P.409-414.,

в которых для определения области знака анализируются цветовые компоненты. Подход к детектированию знаков на основе цветовой фильтрации не требователен к вычислительным ресурсам, однако известные методы не всегда могут отличить (например, красный) знак от других объектов такого же цвета, а также не различают типы знаков с окантовкой одинакового цвета (предупреждающие и запрещающие), что приводит к существенному увеличению вычислительных затрат на последующих этапах и, в конечном итоге, к снижению качества распознавания, т.к. текущее изображение приходится сравнивать с большим числом эталонов знаков в базе данных.

Ближайшим прототипом изобретения является «Устройство, метод и компьютерная программа для определения дорожных знаков на изображении» (патент № US 2010/0067805, МПК G06K 9/46, опубликовано 18.03.2010), в котором реализуют эапы детектирования, отслеживания, нормализации и распознавания. Для установления факта наличия знака на каждом текущем изображении (видеокадре) определяют размеры фрагментов эллипсов и прямых линий, являющихся граничными для запрещающих и предупреждающих знаков. При этом в качестве признаков используют цветочувствительные вейвлеты Хаара, построенные в различных (до 9-ти) цветовых представлениях. Для измерения признаков используются цифровые цветовыделяющие фильтры. Окончательное решение принимается по результатам сопоставления результатов распознавания в различных цветовых представлениях изображений на последовательности кадров.

Недостаток указанного способа состоит в большой задержке распознавания и выработки предупреждающих сигналов водителю, связаной с тем, что выделение областей нахождения знаков цифровыми цветовыделяющими фильтрами осуществляется путем определения размеров фрагментов эллипсов и прямых линий, с использованием большого числа представлений на последовательности кадров, что требует больших вычислительных затрат. Кроме того, на этапе детектирования группы предупреждающих, запрещающих и других знаков, а также подгруппы в группах знаков, определяемые по сходству изображений, не классифицируются, поэтому на завершающем этапе собственно распознавания выбор осуществляется из всего множества знаков. Поскольку при этом необходимо осуществлять сопоставление текущего изображения с большим числом эталонов, в конечном итоге, это приводит к большой задержке и снижает надежность распознавания.

Задача, на решение которой направлено заявляемое изобретение, заключается в сокращении времени локализации и повышении надежности распознавания дорожных знаков.

Указанная цель достигается тем, что в способе локализации дорожных знаков и распознавания их групп и подгрупп, заключающемся в выделении областей нахождения знаков на видеокадрах цифровыми цветовыделяющими фильтрами, согласно изобретению выделение области нахождения знака осуществляют в два этапа, на первом этапе для выделения областей нахождения знаков последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении, при каждом положении окна определяют порядок чередования цветов и сопоставляют его с установленными заранее порядками чередования цветов на эталонах дорожных знаков, при совпадении порядков чередования цветов соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, на следующем этапе в найденной подозрительной области выделяют область, ограниченную красной границей знака, и в выделенной области по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, обе гистограммы нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из построенных нормированных гистограмм путем их присоединения формируют общую гистограмму и соответствующий ей вектор, этот вектор сопоставляют, в смысле заданной меры близости, со сформированными по тому же правилу векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по любому известному критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что и общие, не зависящие от цвета, гистограммы, использовавшиеся при определении группы знаков.

Далее приводится раскрывающее существо заявленного предложения описание примера реализации способа локализации и распознавания групп и подгрупп знаков, имеющих красную границу или красный фон: предупреждающие, запрещающие, знак «уступите дорогу», знак «стоп», знак «проезд запрещен» (предписывающие и информационные знаки, обрабатываются отдельно по тому же принципу, но с использованием отсчетов синего цвета).

На фиг.1 приведены примеры чередования цветов знаков: а) «Обгон запрещен»; б) «Уступите дорогу»; в) «Ограничение скорости» (50 км/час), где приняты обозначения для цветов: к - красный, б - белый, ч - черный.

На фиг.2 приведены нормированные общие гистограммы групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».

На фиг.3 приведены нормированные гистограммы отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 - «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 - «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).

На первом этапе для определения областей, подозрительных на нахождение изображения дорожного знака, последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении. Допустимое разрешение определяется требованием надежного распознавания знаков и обеспечивается регистрацией видеокадров на определенном расстоянии. При каждом положении окна определяют и запоминают порядок чередования цветов. Сформировнный кортеж, описывающий порядок чередования цветов, сопоставляют с возможными заранее определенными кортежами цветов для эталонов дорожных знаков. Например, для большинства предупреждающих знаков этот кортеж состоит из чередования «белого» и «черного» цветов, притом кортеж, почти для всех знаков, начинается и завершается признаком, обозначающим «красный» цвет. На фиг.1 приведены примеры кортежей красного, белого и черного цветов для предупреждающего знака «обгон запрещен», «уступите дорогу» и запрещающего знака «ограничение максимальной скорости» (до 50 км/час).

При совпадении сформированного кортежа с одним из кортежей базы эталонных изображений соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака. На пересечении средней строки и среднего столбца выделенной области определяют координаты центральной точки. Далее в выделенной подозрительной области «вырезают» внутреннюю часть знака, ограниченную границей красного цвета, имеющей вид окружности - для запрещающих и треугольника - для предупреждающих знаков.

Выделение внутренней области знака, ограниченной красной границей, осуществляют с использованием алгоритма типа «заливка». Алгоритм «заливки» заключается в просмотре и сохранении координат отсчетов во всех направлениях от центральной точки, которая была определена на пересечении средней строки и среднего столбца выделенной области на предыдущем этапе, к периферии до первого пересечения с красной границей. Далее «вырезанное» изображение просматривают по строкам и столбцам и в каждой строке и каждом столбце подсчитывают общее число пикселей в выделенной области. В результате получают две гистограммы (для строк - i и столбцов - j) всех анализируемых отсчетов в выделенной области.

Далее гистограммы нормируют. Для этого определяют координаты начала - i₁, j₁ и конца - i_n, j_n каждой из двух гистограмм, т.е. порядковые номера отсчетов первого и последнего ненулевых значений. Эти координаты задают размеры прямоугольника, в который вписана выделенная область изображения знака. Полученные размеры сравнивают с их минимально возможными значениями, заданными с учетом допустимого разрешения, необходимого для распознавания знака.

Обе полученные гистограммы масштабируют таким образом, чтобы количество отсчетов каждой гистограммы было равно количеству отсчетов i_э, j_э эталонных гистограмм групп знаков. Для этого значения отсчетов гистограмм p(i), $$i=\overline{i_1,i_n}$$ , p(j), $$j=\overline{j_1,j_n}$$ перенумеровывают по правилу:

$$p\left(i\right)=p\left(\overline{i}\right)$$ , $$i=\overline{i_1,i_{э}}$$ ,

$$p\left(j\right)=p\left(\overline{j}\right)$$ , $$j=\overline{j_1,j_{э}}$$ ,

где

$$\overline{i}=[a_{i}i]$$ , $$\overline{j}=[a_{j}j]$$ ,

$$a_i=\frac{L_i}{\left(i_n-i_1\right)}$$ , $$a_j=\frac{L_j}{\left(j_n-j_1\right)}$$ - коэффициенты преобразования, a L_i, L_j - заданные эталонные длины гистограмм по направлениям изменения индексов i, j соответственно.

Полученные масштабированные гистограммы нормируют по правилу:

$$\overline{p}\left(i\right)=\frac{p\left(i\right)}{{\displaystyle \sum _{i=\overline{i_1,i_{э}}}p\left(i\right)}}$$ ,

$$\overline{p}\left(j\right)=\frac{p\left(j\right)}{{\displaystyle \sum _{j=\overline{j_{\mathrm{1,}}{j}_{э}}}p\left(j\right)}}$$

и путем присоединения двух гистограмм формируют общую гистограмму, характеризующую распределение всех отсчетов в выделенной области.

Далее нормированную общую гистограмму сопоставляют с заданными при тех же значениях L_i, L_j общими гистограммами p(i), p(j) эталонов распознаваемых групп знаков - Z_m, $$m=\overline{\mathrm{1,}M}$$ и устанавливают принадлежность к одной из них - $${\widehat{Z}}_m.$$ В данном случае для установления степени «похожести» гистограмм использовался критерий максимума функции корреляции:

$${\widehat{Z}}_m:Q\left({\widehat{Z}}_m\right)=\underset{m}{\max }Q\left(Z_m\right)$$ , $$m=\overline{\mathrm{1,}M}$$ ,

где $$Q\left(Z_m\right)=\frac{\langle \overline{p}\left(i\right),P\left(i\right)\rangle }{\Vert \overline{p}\left(i\right)\Vert \Vert P\left(i\right)\Vert }.$$

На фиг.2 приведены примеры нормированных общих гистограмм групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».

После того как по общим нормированным гистограммам определены группы знаков, в каждой группе определяют подгруппы знаков. Для этого в выделенной области по тем же правилам, описанным выше, строят нормированные гистограммы отсчетов черного цвета, которые сопоставляют по критерию максимума функции корреляции с нормированными гистограммами отсчетов черного цвета эталонных изображений знаков. В результате такого сопоставления определяются подгрупы групп предупреждающих и запрещающих знаков.

На фиг.3 приведены примеры нормированных гистограмм отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).

Далее с использованием координат граничных точек, определенных по общей гистограмме выделенной области и координатам соответственных точек на эталонных изображениях, осуществляют афинное преобразование выделенной области знака с целью приведения текущего изображения к эталонному по масштабу и углу поворота.

Заключительный этап распознавания конкретного знака может быть реализован любым из известных способов. В настоящем примере выделенную область текущего изображения преобразуют к бинарному, при этом задают порог на уровне 0,75 от значения средней яркости. Все эталонные изображения также представляют в виде бинарных по тому же правилу. Далее выделенные области текущего и эталонного бинарных изображений сопоставляют. Решение принимается по минимуму относительного числа несовпадающих пикселей на множестве знаков, входящих в подгруппу, которая определена на предшествующих этапах.

В данном случае время распознавания существенно сокращается, а надежность возрастает, т.к. число знаков, с которыми сопоставляется текущее бинарное изображение, сравнительно невелико за счет предварительного распознавания группы, которой принадлежит текущий знак, по общим гистограммам и подгруппы по гистограммам «черного» цвета. Например, по форме гистограмм «черного» цвета уверенно распознается подгруппа, включающая следующие знаки: «Пересечение с второстепенной дорогой» и «Примыкание второстепенной дороги». Поэтому для определения конкретного предупреждающего знака в этой подгруппе достаточно решить задачу выбора из 7 знаков (знаки 2.3.1-2.3.7, ГОСТ Р52290-2004).

Существенное снижение общих вычислительных затрат на локализацию и распознавание дорожных знаков, а также повышение надежности распознавания обеспечивается за счет введения процедур распознавания групп знаков по общим нормированным гистограммам, а также подгрупп в группах по нормированным гистограммам «черного» цвета. Таким образом, заявляемый способ соответствует критерию изобретения «новизна». Снижение общих вычислительных затрат обеспечивает сокращение времени формирования предупредительных сигналов водителю, что в конечном итоге обеспечивает повышение безопасности движения на дорогах.

Изобретение относится к области цифровой обработки изображений и может найти применение в системах активной безопасности автомобилей для выработки дополнительных сигналов предупреждения водителю. Техническим результатом является сокращение времени локализации и повышение надежности распознавания дорожных знаков. Способ локализации дорожных знаков и распознавания их групп и подгрупп на видеокадрах изображений заключается в выделении областей нахождения знаков посредством просматривания строк и столбцов изображения скользящим окном, при совпадении порядков чередования цветов в окне с эталонным соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, в которой далее выделяют область, ограниченную красной границей знака, и в ней по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, которые нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из нормированных гистограмм формируют общую гистограмму и соответствующий ей вектор, который сопоставляют с векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что гистограммы, использовавшиеся при определении группы знаков. 3 ил.

Способ локализации дорожных знаков и распознавания их групп и подгрупп, заключающийся в выделении областей нахождения знаков на видеокадрах цифровыми цветовыделяющими фильтрами, отличающийся тем, что выделение области нахождения знака осуществляют в два этапа, на первом этапе для выделения областей нахождения знаков последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении, при каждом положении окна определяют порядок чередования цветов и сопоставляют его с установленными заранее порядками чередования цветов на эталонах дорожных знаков, при совпадении порядков чередования цветов соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, на следующем этапе в найденной подозрительной области выделяют область, ограниченную красной границей знака, и в выделенной области по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, обе гистограммы нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из построенных нормированных гистограмм путем их присоединения формируют общую гистограмму и соответствующий ей вектор, этот вектор сопоставляют, в смысле заданной меры близости, со сформированными по тому же правилу векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по любому известному критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что и общие, не зависящие от цвета, гистограммы, использовавшиеся при определении группы знаков.