Способ детекции протяженных линейных объектов на изображении Российский патент 2023 года по МПК G05D1/00 G06T7/12 

Изобретение относится к области обработки изображений, а именно к способам выделения протяженных линейных объектов на изображении и может найти широкое применение при детектировании линий дорожной разметки для определения беспилотным транспортным средством своего положения на заданной векторной карте дорог, а также при построении карты дорог по космическим снимкам Земли, поиске дислокаций в кристаллах на отдельных проекциях рентгеновской топо-томографии.

Из области техники известны следующие способы детекции протяженных линейных объектов на изображении.

Способ обнаружения дорожной полосы, известный из патента RU 2746631, включает получение изображения участка дорожной полосы и его обработку. Полученное изображение одновременно обрабатывается с использованием сверточной нейронной сети и с использованием алгоритма обнаружения дорожной разметки, после этого для двух промежуточных изображений, полученных в результате обработки, параллельно генерируются маски, выполняется взвешенное сложение масок попиксельно и преобразование в вид сверху, формируя итоговую маску, далее выполняется преобразование координат пикселей итоговой маски из системы координат изображения в систему координат транспортного средства, после каждому пикселю итоговой маски присваивается весовой коэффициент, который определяется яркостью соответствующего пикселя, далее полученные пиксели итоговой маски аппроксимируются в полином, определяющий линию середины дорожной полосы, и вычисляется отклонение положения транспортного средства относительно середины дорожной полосы.

Для применения нейронных сетей с целью обнаружения дорожной разметки необходимо наличие уникальной обучающей выборки изображений, что требует больших затрат времени. Кроме того, при реализации указанного способа детектируется только основная полоса движения, тогда как в некоторых дорожных ситуациях, например, при повороте направо или налево необходимо иметь информацию о количестве полос в текущем направлении и в которой из них находится ТС.

Известен способ выделения участка дороги из дорожного видеоизображения (CN107977608), который включает в себя определение всех возможных сегментов линии на изображении с помощью преобразования Хафа; группировку обнаруженных сегментов линии в различные типы; извлечение следующих нормализованных признаков всех сегментов линии; выбор оптимальной группы сегментов линии, в которой существует один или более возможных краев дороги; получение краев дороги из M кадров изображения в определенной сцене; вычисление гистограммы распределения краев M кадров изображения для получения основного участка и вспомогательного участка распределения дорог; затем извлечение значения гистограммы в качестве первого характерного значения двух участков распределения; вычисление длин всех линий в участках; использование самой длинной линии в качестве границы дороги непрерывного кадр изображения; и определение площади дорожного покрытия.

В описании указанного способа не раскрыта информация о том, каким образом в процессе выделения набора сегментов линий определяют координаты их начала и конца.

Известен способ обнаружения линий дорожного полотна (CN114037970), при котором с видеокамер получают изображения шахматной доски, выполняют внутреннюю эталонную калибровку камеры и получают внутреннюю эталонную матрицу камеры и коэффициент искажения; исправляют полученное изображение дороги в реальном времени, извлекают информацию о краевых признаках скорректированного изображения для получения бинарного изображения и определения интересующей области в соответствии с линией дорожного полотна; преобразуют бинарное изображение к виртуальному виду сверху при помощи виртуального поворота, используют морфологическую фильтрацию для удаления шума двоичного изображения и улучшения информации о линиях дорожного полотна; извлекают координаты точек пикселя левой и правой линий дорожного полотна с помощью метода скользящего окна, а затем применяют метод согласованности случайной выборки для подгонки линий дорожного полотна; извлекают линии дорожного полотна, осуществляют обратное проецирование линий дорожного полотна на скорректированное изображение с использованием преобразования обратной перспективы для визуализации.

Недостаток указанного способа заключается в возможности детектирования только основной дорожной полосы, тогда как при планировании движения ТС важно понимать сколько полос на дороге, например, для совершения поворота налево надо перестраиваться в крайний левый ряд.

Способ, раскрытый в источнике CN114037970, по технической сущности является наиболее близким к заявляемому изобретению и может выступать в качестве прототипа.

Задачей, на решение которой направлено заявленное изобретение, является создание способа детекции протяженных линейных объектов на изображении в виде ломанных с ограничением на угол излома и протяженность искомых границ, обеспечивающий возможность точного выделения линейных объектов разнообразной формы - прямолинейных, дугообразных, окружностей, множественных параллельных прямых, априорно не задавая сведений о предполагаемом месте прохождения границ на изображении и их количестве.

Технический результат заявленного изобретения заключается в повышении точности распознавания протяженных линейных объектов сложной формы на изображении.

Технический результат достигается за счет осуществления способа детекции протяженных линейных объектов на изображении, при котором в процессе движения транспортного средства (ТС) с видеокамер получают изображения дорожного полотна, полученное изображение приводят к виртуальному виду сверху при помощи виртуального поворота, осуществляют фильтрацию изображения для проявления линейных объектов дорожной разметки при помощи морфологического фильтра, на изображении выполняют детектирование отдельных линейных объектов дорожной разметки с использованием быстрого оконного преобразования Хафа.

Особенность предлагаемого способа заключается в том, что фильтрацию изображения для проявления линейных объектов дорожной разметки выполняют посредством того, что к изображению применяют морфологический фильтр «замыкание» с радиусом порядка характерной ширины линии дорожной разметки, применяют морфологический фильтр «размыкание» с радиусом больше характерной ширины линий дорожной разметки, получают изображение дорожной разметки путем осуществления операции попиксельного вычитания изображений, полученных с применением морфологических фильтров «замыкание» и «размыкание», осуществляют редукцию каналов изображения дорожной разметки путем выполнения операции попиксельного максимума между каналами для получения одноканального изображения дорожной разметки, с целью детекции отдельных линий дорожной разметки к полученному одноканальному изображению применяют оконное быстрое преобразование Хафа, детектированные отрезки группируют в множества с учетом ограничения на угол излома, аппроксимируют группу отрезков ломаной, полученные линии дорожной разметки в пиксельных координатах пересчитывают в метрические координаты на плоскости дорожного полотна относительно ТС с использованием параметров калибровки видеокамеры.

На фиг.1 представлены примеры изображений, получаемых при пошаговой реализации заявленного способа детекции протяженных линейных объектов, где а - изображение дорожной разметки с нечетко выраженными границами в результате применения операции попиксельного вычитания изображений, полученных с применением морфологических фильтров «замыкание» и «размыкание», б - изображение, получаемое в результате применения быстрого оконного преобразования Хафа, в - изображение, получаемое в результате группировки детектированных отрезков, г - изображение, получаемое в результате аппроксимации групп отрезков ломанными.

На фиг.2 представлена схема определения переходного угла φ между отрезками u, v, k.

Способ детекции протяженных линейных объектов, включающий захват видеоизображения и его обработку вычислительным блоком, осуществляется с помощью установки в транспортное средство, по крайней мере, одной видеокамеры, соединенной с указанным вычислительным блоком, снабженным модулем высокой производительности, например, промышленный компьютер марки Nuvo-5000 на базе архитектуры amd64.

Заявленный способ детекции протяженных линейных объектов, в предпочтительном варианте, реализуется следующим образом (фиг. 1, а - г).

Видеокамеру устанавливают и фиксируют на ТС, выполняют калибровочную процедуру, в результате чего получают внутренние параметры (фокусное расстояние, размер пикселя, коэффициенты дисторсии) и внешние параметры (трехмерное смещение и поворот видеокамеры относительно ТС), при этом поддерживают динамическую калибровку, при которой внешние параметры (в частности, трехмерный поворот видеокамеры относительно ТС) меняются во времени и оцениваются каким-либо способом, известным из уровня техники (например, основанным на инерциальных датчиках, камерах, лидарах или любом сочетании данных сенсоров).

В процессе движения транспортного средства (ТС) с видеокамер получают изображения дорожного полотна, полученное изображение приводят к виртуальному виду сверху при помощи виртуального поворота, исправляют дисторсию RGB-изображения.

В блоке управления осуществляют фильтрацию изображения для проявления линейных объектов дорожной разметки при помощи морфологических фильтров «замыкание» и «размыкание», которые определяют через базовые морфологические фильтры.

Пусть RGB изображение определяют как I, при этом - разбиение изображения I на каналы R, G и B соответственно.

Введем обозначение - регион изображения I размера , левый верхний угол которого имеет координаты (x, y).

Тогда, базовые морфологические фильтры, через которые определяют морфологические фильтры «замыкание» и «размыкание» имеют вид:

- морфологический фильтр «Наращивание»

Обозначим - результат применения морфологического фильтра «наращивание» c регионом наращивания размера w на h.

Тогда для

- морфологический фильтр «Сужение»

Обозначим - результат применения морфологического фильтра «сужение» c регионом сужения размера w на h.

Тогда для

.

Тогда, морфологические фильтры «замыкание» и «размыкание» изображения выражают через базовые морфологические фильтры следующим образом:

- морфологическое «замыкание» изображения;

- морфологическое «размыкание» изображения.

Затем, получают изображение дорожной разметки путем осуществления операции попиксельного вычитания изображений, полученных с применением морфологических фильтров «замыкание» и «размыкание» (фиг.1, а):

,

где r₁ - характерная ширина дорожной разметки в пикселях, r₂ - значение большее характерной ширины дорожной разметки в пикселях.

Затем, осуществляют редукцию каналов изображения дорожной разметки путем выполнения операции попиксельного максимума между каналами для получения одноканального изображения дорожной разметки.

Пусть - трехканальное изображение. Обозначим - значения пикселя на изображении . Обозначим результат редукции каналов путем попиксельного максимума, как . - одноканальное изображение, такое что .

С целью детекции отдельных линий дорожной разметки к полученному одноканальному изображению применяют оконное быстрое преобразование Хафа, при котором изображение разбивают на квадратные фрагменты с одинаковой площадью перекрытия, к каждому выделенному фрагменту изображения применяют быстрое преобразование Хафа (БПХ), осуществляют поиск отрезков на изображении.

Затем, полученные отрезки группируют в неупорядоченные множества с учетом ограничения ломаных на угол излома; в каждой из групп определяется порядок обхода, группа аппроксимируется ломаной и проходит проверку на протяженность.

На этапе поиска отрезков на изображении (фиг.1, б) выделенный фрагмент исходного изображения будет считаться входным изображением для БПХ. Результат быстрого преобразования Хафа - одноканальное изображение, называемое Хаф-образом.

Каждый пиксель полученного Хаф-образа, параметризованный как (s, t), содержит сумму вдоль линии входного изображения, заданной точками пересечения с противоположными краями изображения (s,0) и (s+ t, n), где s – целочисленный сдвиг паттерна, а t – целочисленный наклон.

Таким образом, в каждой строке t полученного Хаф-образа содержатся суммы вдоль всех отрезков с наклоном величины t. Для поиска контрастного отрезка, соответствующего линии дорожной разметки, необходимо выделить такую строку Хаф-образа, дисперсия которой была бы наибольшей, то есть выбирают наклон, для которого разброс сумм яркости вдоль отрезков наибольший, и при этом дисперсия должна превышать некоторое заданное пороговое значение. Тогда, точка из этой строки с максимальным значением интегральной яркости и будет соответствовать наиболее контрастному отрезку относительно фона в заданном окне.

На этапе группировки отрезков (фиг.1, в) осуществляют попарный перебор отрезков, при котором пару отрезков считают принадлежащими одной границе, если выполняются следующие условия:

1. Расстояние между отрезками меньше ;

2. Угол между отрезками лежит в диапазоне .

Необходимо отметить, что расстояние между отрезками определяется как расстояние между ближайшими на отрезках точками, а угол между отрезками – как угол между двумя лучами, выходящими из точки пересечения отрезков к их наиболее удаленным концам. Для непересекающихся отрезков такой угол доопределяется параллельным переносом отрезков до совпадения двух ближайших концов в одной вершине.

Таким образом, формируют множество отрезков, найденных в результате быстрого оконного преобразования Хафа, для которых выполняются вышеприведенные условия 1 и 2 (по расстоянию между отрезками и углу между ними).

Группировка отрезков, которые по сути являются вершинами графа G= (V, E), где V - множество отрезков по результатам быстрого оконного преобразования Хафа, осуществляется с помощью известного из уровня техники алгоритма поиска компонент связности в графе.

В процессе выполнения аппроксимации групп отрезков ломанными (фиг.1, г) все границы на изображении разделяют на разомкнутые прямолинейные и криволинейные границы и окружности. Последнее характерно для изображений дорожной разметки на круговом движении. Аппроксимация группы отрезков делится соответственно на аппроксимацию одиночным прямолинейным сегментом (ломаной с одним звеном) и аппроксимацию ломаной с более чем одним звеном (окружности тоже аппроксимируются ломаной, начало и конец которой совпадают). Для каждого результата аппроксимации вычисляется протяженность ломаной или сегмента как сумма расстояний между вершинами. Если вычисленная протяженность превосходит заданную, то результат подается на выход алгоритма. Для случая приближения группы отрезков одиночным прямолинейным сегментом ищется пара наиболее удаленных точек среди всех концов отрезков в группе. Эта пара точек задает координаты концов сегмента. Далее для всех остальных концов отрезков в группе проверяется их близость до образованного сегмента через расстояние от конкретной точки до построенного сегмента. Если доля близких точек велика, то линия разметки считается прямолинейной, а полученный сегмент – ее аппроксимацией.

Если приблизить одиночным прямолинейным сегментом не удалось, то осуществляется аппроксимация группы отрезков ломанной.

Напомним, что группа отрезков также является компонентой связности графа G. Обозначим ее граф .

Назовем переходным углом между тремя вершинами-отрезками и – угол образованный лучами, выходящими из середины одного из отрезков и проходящими через середины двух других (фиг.2).

Осуществляют поиск в компоненте связности такой путь, что все переходные углы между тремя последовательными вершинами в пути удовлетворяют вышеприведенному условию 2 по углу между отрезками, а также этот путь был бы максимальной протяженности.

Для этого проверяют, что у каждой тройки вершин , имеется такой обход тройки по существующим ребрам , что переходный угол при обходе удовлетворяет вышеприведенному условию 2.

Если же такой обход не удовлетворяет условию 2 и , то добавим ребро в , если и при этом новый обход или удовлетворяет ограничению на переходный угол, то есть условию 2.

Для поиска порядка обхода всех отрезков будем использовать алгоритм Флойда. Для этого присвоим вес каждому ребру (u, v), равный расстоянию между самыми удаленными концами отрезков u, v. Выходом алгоритма будет матрица кратчайших путей D между всеми парами вершин и матрица P, хранящая информацию о номерах фаз, на которых было получено кратчайшее расстояние между парами вершин. Далее из всех кратчайших путей выбирается путь, значение которого максимально. Если выбор максимального пути не однозначен (максимальные значения близки в пределах заданной погрешности), то выбирается максимальный путь с минимальным количеством пройденных вершин. Далее, с использованием информации о фазах P восстанавливается обход вершин-отрезков.

Ввиду особенностей вычислений, описанный выше алгоритм ищет только разомкнутые прямолинейные и криволинейные границы. Результатом аппроксимации группы отрезков, покрывающих окружность, будет ломаная, соответствующая только половине окружности. Это связано с тем, что полный обход окружности будет иметь в полученной матрице D минимальное значение (так как кратчайшее расстояние между началом и концом будет равно нулю), а обход половины – максимальное. Поэтому из концов выбранного пути ищется альтернативный путь, используя предварительно подсчитанную матрицу Флойда. Если такой путь существует, и он не имеет общих вершин с предварительно найденным путем (за исключением начала и конца), то эти пути объединяются в один. Далее, когда порядок обхода отрезков найден, строится ломаная, вершины которой – точки пересечения или ближайшие концы соседних в пути отрезков, если отрезки не пересекаются.

По результатам выполнения аппроксимации групп отрезков ломанными полученные линии дорожной разметки в пиксельных координатах в каждый момент времени пересчитывают в метрические двумерные координаты (x, y) в плоскости дорожного полотна относительно ТС с использованием параметров калибровки видеокамеры.

Изобретение относится к области обработки изображений, а именно к способам выделения протяженных линейных объектов на изображении, и может найти широкое применение при детектировании линий дорожной разметки для определения беспилотным транспортным средством своего положения на заданной векторной карте дорог. Способ детекции протяженных линейных объектов на изображении, заключающийся в том, что в процессе движения транспортного средства (ТС) с видеокамер получают изображения дорожного полотна, на изображении выполняют детектирование отдельных линейных объектов дорожной разметки с использованием быстрого оконного преобразования Хафа. Фильтрацию изображения для проявления линейных объектов дорожной разметки выполняют посредством того, что к изображению применяют морфологический фильтр «замыкание» с радиусом порядка характерной ширины линии дорожной разметки. Детектированные отрезки группируют во множества с учетом ограничения на угол излома, аппроксимируют группу отрезков ломаной, полученные линии дорожной разметки в пиксельных координатах пересчитывают в метрические координаты на плоскости дорожного полотна относительно ТС. Повышается точность распознавания протяженных линейных объектов сложной формы на изображении. 2 ил.

Способ детекции протяженных линейных объектов на изображении, при котором в процессе движения транспортного средства (ТС) с видеокамер получают изображения дорожного полотна, полученное изображение приводят к виртуальному виду сверху, в блоке управления осуществляют фильтрацию изображения для проявления линейных объектов дорожной разметки, на изображении выполняют детектирование отдельных линейных объектов дорожной разметки с использованием быстрого оконного преобразования Хафа, отличающийся тем, что фильтрацию изображения для проявления линейных объектов дорожной разметки выполняют посредством того, что к изображению применяют морфологический фильтр «замыкание» с радиусом порядка характерной ширины линии дорожной разметки, применяют морфологический фильтр «размыкание» с радиусом больше характерной ширины линий дорожной разметки, получают изображение дорожной разметки путем осуществления операции попиксельного вычитания изображений, полученных с применением морфологических фильтров «замыкание» и «размыкание», осуществляют редукцию каналов изображения дорожной разметки путем выполнения операции попиксельного максимума между каналами для получения одноканального изображения дорожной разметки, с целью детекции отдельных линий дорожной разметки к полученному одноканальному изображению применяют оконное быстрое преобразование Хафа, детектированные отрезки группируют во множества с учетом ограничения на угол излома, аппроксимируют группу отрезков ломаной, полученные линии дорожной разметки в пиксельных координатах пересчитывают в метрические координаты на плоскости дорожного полотна относительно ТС.