СПОСОБ ЛОКАЛИЗАЦИИ ДОРОЖНЫХ ЗНАКОВ И РАСПОЗНАВАНИЯ ИХ ГРУПП И ПОДГРУПП Российский патент 2013 года по МПК G06K9/46 

Описание патента на изобретение RU2488164C1

Изобретение относится к области цифровой обработки изображений и может найти применение в системах активной безопасности автомобилей для выработки дополнительных сигналов предупреждения водителю.

Известны методы локализации знаков на изображениях, описанные в работах:

Shneier, М. Road sign detection and recognition [Text] / M.Shneier // Proc. IEEE Computer Society Int. Conf. on Computer Vision and Pattern Recognition. - 2005. - P.215-222.

Torresen, J.A Camera Based Speed Limit Sign Recognition System [Text] / J.Torresen, J.W.Bakke, Y.Yang // 13th ITS World Congress and Exhibition. - 2006. - P.115-129.

Saturino Maldonado-Bascon, Sergio Lafuente-Arroyo, Pedro Gil-Jimenez Hi-lario Gomez-Moreno and Francisco Lopez-Ferrers. Road-Sign Detection and Recognition Based on Support Vector Machines // IEEE Transaction on Inteligent Transportation System, vol.8, No.2, June 2007.

Ren, F. General traffic sign recognition by feature matching [Text] / F.Ren, J.Huang, R.Jiang, R.Klette // IEEE 24th Int. Conf. Image and Vision Computing. - 2009. - Issue: Ivcnz. - P.409-414.,

в которых для определения области знака анализируются цветовые компоненты. Подход к детектированию знаков на основе цветовой фильтрации не требователен к вычислительным ресурсам, однако известные методы не всегда могут отличить (например, красный) знак от других объектов такого же цвета, а также не различают типы знаков с окантовкой одинакового цвета (предупреждающие и запрещающие), что приводит к существенному увеличению вычислительных затрат на последующих этапах и, в конечном итоге, к снижению качества распознавания, т.к. текущее изображение приходится сравнивать с большим числом эталонов знаков в базе данных.

Ближайшим прототипом изобретения является «Устройство, метод и компьютерная программа для определения дорожных знаков на изображении» (патент № US 2010/0067805, МПК G06K 9/46, опубликовано 18.03.2010), в котором реализуют эапы детектирования, отслеживания, нормализации и распознавания. Для установления факта наличия знака на каждом текущем изображении (видеокадре) определяют размеры фрагментов эллипсов и прямых линий, являющихся граничными для запрещающих и предупреждающих знаков. При этом в качестве признаков используют цветочувствительные вейвлеты Хаара, построенные в различных (до 9-ти) цветовых представлениях. Для измерения признаков используются цифровые цветовыделяющие фильтры. Окончательное решение принимается по результатам сопоставления результатов распознавания в различных цветовых представлениях изображений на последовательности кадров.

Недостаток указанного способа состоит в большой задержке распознавания и выработки предупреждающих сигналов водителю, связаной с тем, что выделение областей нахождения знаков цифровыми цветовыделяющими фильтрами осуществляется путем определения размеров фрагментов эллипсов и прямых линий, с использованием большого числа представлений на последовательности кадров, что требует больших вычислительных затрат. Кроме того, на этапе детектирования группы предупреждающих, запрещающих и других знаков, а также подгруппы в группах знаков, определяемые по сходству изображений, не классифицируются, поэтому на завершающем этапе собственно распознавания выбор осуществляется из всего множества знаков. Поскольку при этом необходимо осуществлять сопоставление текущего изображения с большим числом эталонов, в конечном итоге, это приводит к большой задержке и снижает надежность распознавания.

Задача, на решение которой направлено заявляемое изобретение, заключается в сокращении времени локализации и повышении надежности распознавания дорожных знаков.

Указанная цель достигается тем, что в способе локализации дорожных знаков и распознавания их групп и подгрупп, заключающемся в выделении областей нахождения знаков на видеокадрах цифровыми цветовыделяющими фильтрами, согласно изобретению выделение области нахождения знака осуществляют в два этапа, на первом этапе для выделения областей нахождения знаков последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении, при каждом положении окна определяют порядок чередования цветов и сопоставляют его с установленными заранее порядками чередования цветов на эталонах дорожных знаков, при совпадении порядков чередования цветов соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, на следующем этапе в найденной подозрительной области выделяют область, ограниченную красной границей знака, и в выделенной области по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, обе гистограммы нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из построенных нормированных гистограмм путем их присоединения формируют общую гистограмму и соответствующий ей вектор, этот вектор сопоставляют, в смысле заданной меры близости, со сформированными по тому же правилу векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по любому известному критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что и общие, не зависящие от цвета, гистограммы, использовавшиеся при определении группы знаков.

Далее приводится раскрывающее существо заявленного предложения описание примера реализации способа локализации и распознавания групп и подгрупп знаков, имеющих красную границу или красный фон: предупреждающие, запрещающие, знак «уступите дорогу», знак «стоп», знак «проезд запрещен» (предписывающие и информационные знаки, обрабатываются отдельно по тому же принципу, но с использованием отсчетов синего цвета).

На фиг.1 приведены примеры чередования цветов знаков: а) «Обгон запрещен»; б) «Уступите дорогу»; в) «Ограничение скорости» (50 км/час), где приняты обозначения для цветов: к - красный, б - белый, ч - черный.

На фиг.2 приведены нормированные общие гистограммы групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».

На фиг.3 приведены нормированные гистограммы отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 - «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 - «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).

На первом этапе для определения областей, подозрительных на нахождение изображения дорожного знака, последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении. Допустимое разрешение определяется требованием надежного распознавания знаков и обеспечивается регистрацией видеокадров на определенном расстоянии. При каждом положении окна определяют и запоминают порядок чередования цветов. Сформировнный кортеж, описывающий порядок чередования цветов, сопоставляют с возможными заранее определенными кортежами цветов для эталонов дорожных знаков. Например, для большинства предупреждающих знаков этот кортеж состоит из чередования «белого» и «черного» цветов, притом кортеж, почти для всех знаков, начинается и завершается признаком, обозначающим «красный» цвет. На фиг.1 приведены примеры кортежей красного, белого и черного цветов для предупреждающего знака «обгон запрещен», «уступите дорогу» и запрещающего знака «ограничение максимальной скорости» (до 50 км/час).

При совпадении сформированного кортежа с одним из кортежей базы эталонных изображений соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака. На пересечении средней строки и среднего столбца выделенной области определяют координаты центральной точки. Далее в выделенной подозрительной области «вырезают» внутреннюю часть знака, ограниченную границей красного цвета, имеющей вид окружности - для запрещающих и треугольника - для предупреждающих знаков.

Выделение внутренней области знака, ограниченной красной границей, осуществляют с использованием алгоритма типа «заливка». Алгоритм «заливки» заключается в просмотре и сохранении координат отсчетов во всех направлениях от центральной точки, которая была определена на пересечении средней строки и среднего столбца выделенной области на предыдущем этапе, к периферии до первого пересечения с красной границей. Далее «вырезанное» изображение просматривают по строкам и столбцам и в каждой строке и каждом столбце подсчитывают общее число пикселей в выделенной области. В результате получают две гистограммы (для строк - i и столбцов - j) всех анализируемых отсчетов в выделенной области.

Далее гистограммы нормируют. Для этого определяют координаты начала - i1, j1 и конца - in, jn каждой из двух гистограмм, т.е. порядковые номера отсчетов первого и последнего ненулевых значений. Эти координаты задают размеры прямоугольника, в который вписана выделенная область изображения знака. Полученные размеры сравнивают с их минимально возможными значениями, заданными с учетом допустимого разрешения, необходимого для распознавания знака.

Обе полученные гистограммы масштабируют таким образом, чтобы количество отсчетов каждой гистограммы было равно количеству отсчетов iэ, jэ эталонных гистограмм групп знаков. Для этого значения отсчетов гистограмм p(i), i = i 1 , i n ¯ , p(j), j = j 1 , j n ¯ перенумеровывают по правилу:

p ( i ) = p ( i ¯ ) , i = i 1 , i э ¯ ,

p ( j ) = p ( j ¯ ) , j = j 1 , j э ¯ ,

где

i ¯ = [ a i i ] , j ¯ = [ a j j ] ,

a i = L i ( i n i 1 ) , a j = L j ( j n j 1 ) - коэффициенты преобразования, a Li, Lj - заданные эталонные длины гистограмм по направлениям изменения индексов i, j соответственно.

Полученные масштабированные гистограммы нормируют по правилу:

p ¯ ( i ) = p ( i ) i = i 1 , i э ¯ p ( i ) ,

p ¯ ( j ) = p ( j ) j = j 1, j э ¯ p ( j )

и путем присоединения двух гистограмм формируют общую гистограмму, характеризующую распределение всех отсчетов в выделенной области.

Далее нормированную общую гистограмму сопоставляют с заданными при тех же значениях Li, Lj общими гистограммами p(i), p(j) эталонов распознаваемых групп знаков - Zm, m = 1, M ¯ и устанавливают принадлежность к одной из них - Z ^ m . В данном случае для установления степени «похожести» гистограмм использовался критерий максимума функции корреляции:

Z ^ m : Q ( Z ^ m ) = max m Q ( Z m ) , m = 1, M ¯ ,

где Q ( Z m ) = p ¯ ( i ) , P ( i ) p ¯ ( i ) P ( i ) .

На фиг.2 приведены примеры нормированных общих гистограмм групп знаков: а) предупреждающих; б) «Уступите дорогу»; в) запрещающего «Проезд запрещен»; д) запрещающего «Движение без остановки запрещено».

После того как по общим нормированным гистограммам определены группы знаков, в каждой группе определяют подгруппы знаков. Для этого в выделенной области по тем же правилам, описанным выше, строят нормированные гистограммы отсчетов черного цвета, которые сопоставляют по критерию максимума функции корреляции с нормированными гистограммами отсчетов черного цвета эталонных изображений знаков. В результате такого сопоставления определяются подгрупы групп предупреждающих и запрещающих знаков.

На фиг.3 приведены примеры нормированных гистограмм отсчетов черного цвета эталонных изображений из группы предупреждающих знаков: а) для подгруппы, включающей знаки 1.20.1-1.20.3 «Сужение дороги»; б) для подгруппы, включающей знаки 2.3.2-2.3.7 «Примыкание второстепенной дороги» (ГОСТ Р 52290-2004).

Далее с использованием координат граничных точек, определенных по общей гистограмме выделенной области и координатам соответственных точек на эталонных изображениях, осуществляют афинное преобразование выделенной области знака с целью приведения текущего изображения к эталонному по масштабу и углу поворота.

Заключительный этап распознавания конкретного знака может быть реализован любым из известных способов. В настоящем примере выделенную область текущего изображения преобразуют к бинарному, при этом задают порог на уровне 0,75 от значения средней яркости. Все эталонные изображения также представляют в виде бинарных по тому же правилу. Далее выделенные области текущего и эталонного бинарных изображений сопоставляют. Решение принимается по минимуму относительного числа несовпадающих пикселей на множестве знаков, входящих в подгруппу, которая определена на предшествующих этапах.

В данном случае время распознавания существенно сокращается, а надежность возрастает, т.к. число знаков, с которыми сопоставляется текущее бинарное изображение, сравнительно невелико за счет предварительного распознавания группы, которой принадлежит текущий знак, по общим гистограммам и подгруппы по гистограммам «черного» цвета. Например, по форме гистограмм «черного» цвета уверенно распознается подгруппа, включающая следующие знаки: «Пересечение с второстепенной дорогой» и «Примыкание второстепенной дороги». Поэтому для определения конкретного предупреждающего знака в этой подгруппе достаточно решить задачу выбора из 7 знаков (знаки 2.3.1-2.3.7, ГОСТ Р52290-2004).

Существенное снижение общих вычислительных затрат на локализацию и распознавание дорожных знаков, а также повышение надежности распознавания обеспечивается за счет введения процедур распознавания групп знаков по общим нормированным гистограммам, а также подгрупп в группах по нормированным гистограммам «черного» цвета. Таким образом, заявляемый способ соответствует критерию изобретения «новизна». Снижение общих вычислительных затрат обеспечивает сокращение времени формирования предупредительных сигналов водителю, что в конечном итоге обеспечивает повышение безопасности движения на дорогах.

Похожие патенты RU2488164C1

название год авторы номер документа
УСТРОЙСТВО ПОИСКА ДУБЛИКАТОВ ИЗОБРАЖЕНИЙ 2013
  • Марчук Владимир Иванович
  • Воронин Вячеслав Владимирович
  • Письменскова Марина Михайловна
  • Морозова Татьяна Владимировна
RU2538319C1
СПОСОБ ИДЕНТИФИКАЦИИ КАДРОВ ПОТОКА МУЛЬТИМЕДИЙНЫХ ДАННЫХ НА ОСНОВЕ КОРРЕЛЯЦИОННОГО АНАЛИЗА ГИСТОГРАММ ИЗОБРАЖЕНИЙ КАДРОВ 2015
  • Орешин Андрей Николаевич
  • Лазарев Сергей Николаевич
  • Орешин Николай Алексеевич
  • Лысанов Иван Юрьевич
  • Шумилин Вячеслав Сергеевич
RU2607415C2
СПОСОБ АВТОМАТИЧЕСКОЙ СЕГМЕНТАЦИИ ПОЛУТОНОВЫХ СЛОЖНОСТРУКТУРИРОВАННЫХ РАСТРОВЫХ ИЗОБРАЖЕНИЙ 2014
  • Томакова Римма Александровна
  • Филист Сергей Алексеевич
  • Кореневский Николай Алексеевич
  • Шаталова Ольга Владимировна
  • Курочкин Александр Геннадьевич
RU2580074C1
СПОСОБ НЕРАЗРУШАЮЩЕГО КОНТРОЛЯ КАЧЕСТВА ПОВЕРХНОСТИ РЕЛЬСОВ 2010
  • Трофимов Владимир Борисович
  • Кулаков Станислав Матвеевич
RU2426069C1
СПОСОБ АВТОМАТИЧЕСКОЙ ИДЕНТИФИКАЦИИ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ 2012
  • Давыдов Вячеслав Федорович
  • Комаров Евгений Геннадиевич
  • Корольков Анатолий Владимирович
  • Давыдова Светлана Вячеславовна
RU2514155C1
СПОСОБ ОБРАБОТКИ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ ДЛЯ РАСПОЗНАВАНИЯ ВОЗДУШНЫХ ОБЪЕКТОВ 2016
  • Алпатов Борис Алексеевич
  • Бабаян Павел Вартанович
  • Смирнов Сергей Александрович
RU2664411C2
СПОСОБ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ В ДВУХКАНАЛЬНОЙ СКАНИРУЮЩЕЙ СИСТЕМЕ 2016
  • Клочко Владимир Константинович
  • Кузнецов Вячеслав Павлович
  • Макарова Ольга Николаевна
RU2612323C1
Способ измерения дальности до вагона с помощью видеокамеры 2023
  • Кудинов Игорь Алексеевич
  • Никифоров Михаил Борисович
  • Холопов Иван Сергеевич
RU2811525C1
Способ автоматической сегментации флюорограмм грудной клетки больных пневмонией 2016
  • Дураков Игорь Владимирович
  • Кудрявцев Павел Сергеевич
  • Кузьмин Александр Алексеевич
  • Филист Сергей Алексеевич
  • Шаталова Ольга Владимировна
RU2629629C1
СПОСОБ ПОСТРОЕНИЯ СЕЙСМИЧЕСКОГО ДИНАМИЧЕСКОГО ГЛУБИННОГО И/ИЛИ ТОТАЛЬНОГО ВРЕМЕННОГО РАЗРЕЗА 2011
  • Романенко Юрий Андреевич
  • Максимов Леонид Анатольевич
  • Шемякин Марк Леонидович
  • Романенко Александр Владимирович
RU2454682C1

Иллюстрации к изобретению RU 2 488 164 C1

Реферат патента 2013 года СПОСОБ ЛОКАЛИЗАЦИИ ДОРОЖНЫХ ЗНАКОВ И РАСПОЗНАВАНИЯ ИХ ГРУПП И ПОДГРУПП

Изобретение относится к области цифровой обработки изображений и может найти применение в системах активной безопасности автомобилей для выработки дополнительных сигналов предупреждения водителю. Техническим результатом является сокращение времени локализации и повышение надежности распознавания дорожных знаков. Способ локализации дорожных знаков и распознавания их групп и подгрупп на видеокадрах изображений заключается в выделении областей нахождения знаков посредством просматривания строк и столбцов изображения скользящим окном, при совпадении порядков чередования цветов в окне с эталонным соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, в которой далее выделяют область, ограниченную красной границей знака, и в ней по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, которые нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из нормированных гистограмм формируют общую гистограмму и соответствующий ей вектор, который сопоставляют с векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что гистограммы, использовавшиеся при определении группы знаков. 3 ил.

Формула изобретения RU 2 488 164 C1

Способ локализации дорожных знаков и распознавания их групп и подгрупп, заключающийся в выделении областей нахождения знаков на видеокадрах цифровыми цветовыделяющими фильтрами, отличающийся тем, что выделение области нахождения знака осуществляют в два этапа, на первом этапе для выделения областей нахождения знаков последовательно просматривают строки и столбцы изображения скользящим окном, размер которого задают исходя из максимально возможного при заданном допустимом разрешении, при каждом положении окна определяют порядок чередования цветов и сопоставляют его с установленными заранее порядками чередования цветов на эталонах дорожных знаков, при совпадении порядков чередования цветов соответствующие строки и столбцы запоминают, а область изображения на их пересечении выделяют как подозрительную на нахождение в ней знака, на следующем этапе в найденной подозрительной области выделяют область, ограниченную красной границей знака, и в выделенной области по строкам и столбцам строят две, не зависящие от цвета, гистограммы всех отсчетов, обе гистограммы нормируют таким образом, чтобы их диапазоны и количество отсчетов совпадали с соответствующими характеристиками эталонных гистограмм, далее из построенных нормированных гистограмм путем их присоединения формируют общую гистограмму и соответствующий ей вектор, этот вектор сопоставляют, в смысле заданной меры близости, со сформированными по тому же правилу векторами эталонов заданных групп знаков, решение о принадлежности текущего знака к одной из групп знаков принимают по любому известному критерию минимума меры близости векторов, затем в каждой группе определяют подгруппы знаков по гистограммам точек черного цвета, которые формируются и сопоставляются по тем же правилам, что и общие, не зависящие от цвета, гистограммы, использовавшиеся при определении группы знаков.

Документы, цитированные в отчете о поиске Патент 2013 года RU2488164C1

Приспособление для суммирования отрезков прямых линий 1923
  • Иванцов Г.П.
SU2010A1
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
US 7466841 B2, 16.12.2008
Станок для изготовления цилиндрических пружин 1939
  • Носов С.Р.
SU59638A1
СПОСОБ ПОВЫШЕНИЯ БЕЗОПАСНОСТИ ДОРОЖНОГО ДВИЖЕНИЯ ПУТЕМ ВИЗУАЛИЗАЦИИ ДОРОЖНЫХ ЗНАКОВ В САЛОНЕ ТРАНСПОРТНОГО СРЕДСТВА И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ 2003
  • Никитин Владимир Степанович
RU2268499C2

RU 2 488 164 C1

Авторы

Фурсов Владимир Алексеевич

Бибиков Сергей Алексеевич

Никоноров Артем Владимирович

Якимов Павел Юрьевич

Даты

2013-07-20Публикация

2012-04-03Подача