Метод совместной калибровки лидара и камеры Российский патент 2025 года по МПК G06T7/80 

Область техники

Настоящее изобретение относится к области совместной обработки данных мультисенсорной системы и, в частности, к методу совместной калибровки лидара и камеры.

Уровень техники

Лидар и камера широко используются в таких областях, как беспилотные автомобили и интеллектуальне роботы.

Преимущество лидара заключается в точном отражении пространственной трехмерной информации об окружающей среде, но в недостаточном описании деталей, в то время как камера не способна отражать пространственную трехмерную информацию об окружающей среде, однако она обладает выдающимися характеристиками в описании деталей и цветопередачи. Поэтому в беспилотных системах необходимо объединить использование лидара и камеры, чтобы использовать все их преимущества. Однако объединение предполагает, что они должны быть совместно откалиброваны для унификации пространственных координат. Большинство существующих методов совместной калибровки лидара и камеры основаны на многолучевом лидаре с повторяющимся сканированием, а в области лидара с неповторяющимся сканированием мало что было сделано из-за позднего появления этого продукта.

Программное обеспечение с открытым исходным кодом для беспилотных автомобилей Autoware предлагает метод совместной калибровки лидара и камеры, упакованный в набор инструментов Autoware_Camera_Lidar_Calibrator. Метод требует ручного обведения положения калибровочной пластины в трехмерном облаке точек для определения плоскости, в которой расположена пластина, и расстояния до нее, чтобы вывести отношение лидара к плоскости по углу наклона лидара относительно этой плоскости, а затем сравнить его с камерой и в итоге получить результат совместной калибровки лидара и камеры. Однако этот метод имеет проблему неточного ручного обведения, что приводит к невозможности точного определения плоскости и расстояния до калибровочной пластины в трехмерном облаке точек, что приводит к недостоверным результатам калибровки.

В заявке CN201910498286.3 была раскрыта «Совместная система из многокамерной системы и лидара и метод их совместной калибровки», указанный метод позволяет выбрать облако точек, которое попадает на шахматную калибровочную пластину в данных облака точек через программное обеспечение для калибровки, после выбора облака точек проецировать его в систему координат камеры, проверить, находится ли выбранное облако точек в центре калибровочной пластины, настроить выбранное облако точек так, чтобы все выбранные облака точек находились в центре шахматной калибровочной пластины после проецирования, нажать кнопку калибровки после настройки, а затем вывести результаты калибровки лидара. Этот метод в основном основан на ручном выборе облака точек, попадающих в центральное положение калибровочной пластины, при этом возможна погрешность при визуальной оценке, а количество образцов мало, что затрудняет точность результатов совместной калибровки.

Сущность изобретения

Задачей настоящего изобретения является создание метода совместной калибровки лидара и камеры, основанного на том, что чем больше времени интеграции сканирования лидара с неповторяющимся сканированием, тем выше покрытие облака точек, чтобы решить проблему низкой точности, вызванную традиционным методом совместной калибровки.

Техническим решением для реализации задачи настоящего изобретения является метод совместной калибровки лидара и камеры, причем шаги калибровки заключаются в следующем:

шаг I: фиксация лидара и камеры на одном основании, сохранение относительного положения лидара и камеры неизменным, обеспечение того, чтобы перекрывающееся поле зрения между лидаром и камерой составляло более 50% от поля зрения камеры, и переход к шагу II;

шаг II: калибровка камеры для получения внутреннего параметра камеры , где f_x и f_y обозначают фокусное расстояние камеры, c_x и c_y - смещение оптической оси камеры в системе координат изображения, и переход к шагу III;

Шаг III: шахматная калибровочная пластина последовательно размещается в различных позициях в перекрывающихся полях зрения лидара и камеры для сбора данных с камеры и лидара, в каждой позиции камера получает один кадр данных изображения, а лидар получает данные трехмерного облака точек в течение 20-30 секунд, и можно перейти к шагу IV.

Шаг IV: данные трехмерного облака точек лидара и изображения с камеры, полученные в каждой позиции, проверяются, и при наличии данных, которые не полностью и нечетко отражают шахматную калибровочную пластину, то эти данные отбрасываются, осуществляется подстройка положения шахматной калибровочной пластины, сбор данных в этой позиции повторяется, после этого можно перейти к шагу V; в противном случае можно перейти непосредственно к шагу V.

Шаг V: выполнение нормализации полученных данных трехмерного облака точек лидара в направлении оси x для создания двухмерного нормализованного полутонового изображения лидара, при этом шкала полутонов пикселей в двумерном нормализованном полутоновом изображении лидара определяется на основе информации об интенсивности облака точек в данных трехмерного облака точек лидара, и можно перейти к шагу VI.

Шаг VI: определение углов выполняется на полученном двумерном нормализованном полутоновом изображении лидара и изображении с камеры для получения координат угловых точек шахматной клетки на двумерном нормализованном полутоновом изображении лидара и изображении с камеры соответственно, и можно перейти к шагу VII.

Шаг VII: координаты угловых точек на двумерном нормализованном полутоновом изображении каждой группы лидара меняются на противоположные, чтобы получить соответствующие координаты угловых точек трехмерного облака точек лидара на шахматной клетке, и можно перейти к шагу VIII.

Шаг VIII: возвращаясь к шагу IV, можно итерационно просмотреть полученные данные трехмерного облака точек лидара и изображения с камеры в каждой позиции, чтобы получить серию пар координатных угловых точек трехмерного облака точек лидара и изображения с камеры, соотношение преобразования координат угловых точек изображения камеры и координат трехмерного облака точек лидара:

где [u_c, v_c] - координаты угловых точек шахматной клетки изображения камеры, K - внутренний параметр камеры, R - матрица поворота совместной калибровки, P(x, y, z) - координаты трехмерного облака точек лидара на угловой точке шахматной клетки, T - матрица сдвига совместной калибровки; вводят полученные координаты трехмерного облака точек каждой группы лидара и координаты угловых точек шахматнной клетки изображения камеры, и, наконец, получают матрицу поворота R и матрицу сдвига T, таким образом завершается совместная калибровка лидара с неповторяющимся сканированием и камеры.

Настоящее изобретение имеет значительные преимущества перед предшествующим уровнем техники, заключающиеся в следующем:

(1) Существующие методы в основном используют традиционный многолучевой лидар для совместной калибровки с камерой. Траектория сканирования традиционного многолучевого лидара неизменна, а покрытие облака точек в поле зрения мало, что затрудняет точность отражения информации калибровочной пластины и влияет на точность совместной калибровки. Метод сканирования лидара, используемый в настоящем изобретении, представляет собой неповторяющееся сканирование, и настоящее изобретение осуществляет сбор данных о шахматной калибровочной пластине в течение 20-30 секунд, при этом лидар находится в статическом состоянии, в это время покрытие облака точек в поле зрения приближается к 100%, так что информация об угловых точках на шахматной калибровочной пластине может быть четко выделена, и затем может быть извлечена точная координатная информация об угловых точках.

(2) В отличие от предшествующего уровня техники, в котором плоскость и расстояние до шахматной калибровочной пластины оцениваются путем выбора данных трехмерного облака точек, попадающих на шахматную калибровочную пластину, в настоящем изобретении предлагается метод 3D-2D-3D для получения точных координат трехмерного облака точек для угловых точек, попадающих на шахматную калибровочную пластину. То есть, данные трехмерного облака точек, полученные с помощью лидара, сначала нормализуются по оси x для создания двумерного нормализованного полутонового изображения лидара, а информация о шкале полутонов пикселя полутонового изображения обеспечивается информацией об интенсивности облака точек каждой точки в трехмерном облаке точек лидара, затем выполняется обнаружение углов на двумерном нормализованном полутоновом изображении лидара, чтобы получить координаты угловых точек калибровочной пластины на полутоновом изображении, и, наконец, соответствующие точные координаты трехмерного облака точек лидара, попадающие на угловые точки калибровочной пластины, находятся путем обратного поиска через обнаруженные координаты угловых точек калибровочной пластины на полутоновом изображении, что повышает точность совместной калибровки.

Краткое описание чертежей

На фиг. 1 представлена блок-схема метода совместной калибровки лидара и камеры настоящего изобретения.

На фиг. 2 представлена схема черно-белой шахматной калибровочной пластины, используемой в настоящем изобретении.

На фиг. 3 представлена схема определения системы координат облака точек лидара.

На фиг. 4 представлена схема структуры настоящего изобретения.

Вариант осуществления изобретения

Настоящее изобретение использует лидар с неповторяющимся сканированием и камеру для совместной калибровки, лидар с неповторяющимся сканированием отличается не повторением траектории каждого сканирования, с увеличением времени сканирования, выведенное покрытие трехмерного облака точек в поле зрения продолжает увеличиваться, приближаясь к 100% после статического сканирования в течение нескольких секунд, что позволяет полностью отразить точную информацию о деталях окружающей среды, и в сочетании с самодельной крупномасштабной шахматной калибровочной пластиной можно значительно повысить точность совместной калибровки.

Со ссылкой на фиг. 1 настоящее изобретение обеспечивает метод совместной калибровки лидара и камеры, состоящий из следующих шагов:

Шаг I: фиксация лидара и камеры на одном основании, сохранение относительного положения лидара и камеры неизменным, обеспечение того, чтобы перекрывающееся поле зрения между лидаром и камерой составляло более 50% от поля зрения камеры.

Указанный метод сканирования лидара является неповторяющимся, траектория сканирования лидара не повторяется, и после нескольких секунд статического сканирования покрытие поля зрения приближается к 100%, т.е. покрываются почти все области в поле зрения.

Шаг II: калибровка камеры для получения внутреннего параметра камеры , где f_x и f_y обозначают фокусное расстояние камеры, c_x и c_y - смещение оптической оси камеры в системе координат изображения.

Шаг III: шахматная калибровочная пластина последовательно размещается в различных позициях (9-20, в зависимости от размера области перекрывающегося поля зрения) в перекрывающихся полях зрения лидара и камеры для сбора данных с камеры и лидара, в каждой позиции камера собирает один кадр данных изображения, а лидар получает данные трехмерного облака точек в течение 20-30 секунд, что обеспечивает покрытие облака точек лидара в поле зрения, близкое к 100%, и может полностью отразить информацию об угловых точках шахматной клетки.

Для того чтобы полностью захватить изображения с камеры и данные трехмерного облака точек лидара в разных позициях в перекрывающемся поле зрения, при условии, что лидар и камера могут полностью захватить все данные с шахматных калибровочных пластин, калибровочные пластины должны быть расположены так, чтобы покрыть ближнюю, дальнюю, левую и правую границы и центральное положение области перекрывающегося поля зрения лидара и камеры с расстоянием 3-5 метров между соседними позициями.

Шаг IV: данные трехмерного облака точек лидара и изображения с камеры, полученные в каждой позиции, проверяются, и при наличии данных, которые не полностью и нечетко отражают шахматную калибровочную пластину, то эти данные отбрасываются, осуществляется подстройка положения шахматной калибровочной пластины, сбор данных в этой позиции повторяется, после этого можно перейти к шагу V; в противном случае можно перейти непосредственно к шагу V.

Шаг V: как показано на фиг. 3, в системе координат облака точек лидара непосредственно перед лидаром находится ось x координат облака точек лидара. Поэтому, чтобы всесторонне отразить информацию о каждой угловой точке шахматной калибровочной пластины в поле зрения, необходимо нормализовать полученные данные трехмерного облака точек лидара в направлении оси x для создания двухмерного нормализованного полутонового изображения лидара и определить шкалу полутонов пикселей двухмерного нормализованного полутонового изображения на основе информации об интенсивности облака точек в данных трехмерного облака точек лидара.

В процессе создания нормализованного полутонового изображения лидара, координаты трехмерного облака точек сначала нормализуются, и задается точка данных трехмерного облака точек лидара P₀ (x₀, y₀, z₀, i₀); где i₀ - информация об интенсивности координатных точек трехмерного облака точек данного лидара, которая выдается непосредственно лидаром;

направление оси x нормализуется для получения координат ;

далее, разрешение двумерного нормализованного полутонового изображения лидара устанавливается на u₀ * v₀,

а усиление - ;

координаты пикселя двухмерного нормализованного полутонового изображения лидара , преобразованные из трехмерного облака точек лидара;

в то же время максимальное значение интенсивности облака точек во всех данных трехмерного облака точек лидара, собранных в каждой позиции, считается как i_max, а значение шкалы полутонов в координатах пикселя [u, v] двухмерного нормализованного полутонового изображения лидара равно .

Шаг VI: определение углов выполняется на полученном двумерном нормализованном полутоновом изображении лидара и изображении с камеры для получения координат угловых точек шахматной клетки на двумерном нормализованном полутоновом изображении лидара и изображении с камеры соответственно.

Шаг VII: координаты угловых точек на двумерном нормализованном полутоновом изображении лидара меняются на противоположные, чтобы получить соответствующие координаты трехмерного облака точек лидара.

Шаг VIII: возвращаясь к шагу IV, можно итерационно просмотреть полученные данные трехмерного облака точек лидара и изображения с камеры в каждой позиции, чтобы получить серию пар координатных угловых точек трехмерного облака точек лидара и изображения с камеры, соотношение преобразования координат угловых точек изображения камеры и координат трехмерного облака точек лидара:

где [u_c, v_c] - координаты угловых точек шахматной клетки изображения камеры, K - внутренний параметр камеры, R - матрица поворота совместной калибровки, P(x, y, z) - координаты трехмерного облака точек лидара на угловой точке шахматной клетки, T- матрица сдвига совместной калибровки; вводятся полученные координаты трехмерного облака точек каждой группы лидара и координаты угловых точек шахматной клетки изображения камеры, и, наконец, получают матрицу поворота R и матрицу сдвига TT, таким образом завершается совместная калибровка лидара с неповторяющимся сканированием и камеры.

Пример 1

Со ссылкой на фиг. 1, метод совместной калибровки лидара и камеры выполняется на следующих шагах:

Шаг I: Лидар и камера закреплены рядом друг с другом в одном направлении на одном основании, а перекрывающееся поле зрения лидара и камеры составляет более 50% от поля зрения камеры.

Шаг II: камера калибруется для получения внутреннего параметра камеры , f_x и f_y обозначают фокусное расстояние камеры, c_x и c_y - смещение оптической оси камеры в системе координат изображения.

Шаг III: для того чтобы полностью захватить изображения с камеры и данные трехмерного облака точек лидара в разных позициях в перекрывающемся поле зрения, где были выбраны девять разных позиций: a, b, c, d, e, f, g, h, i (как показано на фиг. 4, эти позиции расположены в виде концентрических кругов с разными радиусами). В каждой позиции камера получает один кадр изображения, а лидар - данные трехмерного облака точек в течение 20 секунд. В том числе, используемая шахматная калибровочная пластина показана на фиг. 2. Для того чтобы камера и лидар могли четко собирать данные с дальней шахматной калибровочной пластины, размер каждой клетки шахматной калибровочной пластины установлен на 20 см, а 20 клеток расположены в пять рядов и четыре столбца.

Шаг IV: данные трехмерного облака точек лидара и изображения с камеры, полученные в каждой позиции, проверяются, и при наличии данных, которые не полностью и нечетко отражают шахматную калибровочную пластину, то эти данные отбрасываются, осуществляется подстройка положения шахматной калибровочной пластины, сбор данных в этой позиции повторяется, после этого можно перейти к шагу V; в противном случае можно перейти непосредственно к шагу V.

Шаг V: нормализация в направлении оси x выполняется на полученных данных трехмерного облака точек лидара в каждой позиции для создания двухмерного нормализованного полутонового изображения лидара. При этом шкала полутонов пикселя в двумерном нормализованном полутоновом изображении определяется на основе информации об интенсивности облака точек в данных трехмерного облака точек лидара.

В процессе создания нормализованного полутонового изображения лидара, координаты трехмерного облака точек сначала нормализуются, и задается точка данных трехмерного облака точек лидара P₀ (x₀, y₀, z₀, i₀), где i₀ - информация об интенсивности координатных точек трехмерного облака точек данного лидара, которая выдается непосредственно лидаром.

Направление оси x нормализуется для получения координат ,

далее, разрешение двумерного нормализованного полутонового изображения лидара устанавливается на u₀ * v₀, усиление - .

Координаты пикселя двухмерного нормализованного полутонового изображения лидара , преобразованные из трехмерного облака точек лидара.

В то же время максимальное значение интенсивности облака точек во всех данных трехмерного облака точек лидара, собранных в каждой позиции, считается как i_max, а значение шкалы полутонов в координатах пикселя [u, v] двухмерного нормализованного полутонового изображения лидара равно .

Шаг VI: определение углов выполняется на полученном двумерном нормализованном полутоновом изображении лидара и изображении с камеры в каждой полученной позиции для получения координат угловых точек шахматной клетки на двумерном нормализованном полутоновом изображении лидара и изображении с камеры соответственно.

Шаг VII: координаты угловых точек на двумерном нормализованном полутоновом изображении каждой группы лидара меняются на противоположные, чтобы получить соответствующие координаты трехмерного облака точек лидара. В этом процессе в связи с тем, что лидар с неповторяющимся сканированием, используемый в настоящем изобретении, имеет время сбора данных 20 секунд за раз, покрытие поля зрения трехмерного облака точек, как правило, приближается к 100%, а объем данных трехмерного облака точек велик, поэтому при обратном поиске координат трехмерного облака точек лидара, соответствующих угловым точкам двухмерного нормализованного полутонового изображения лидара, будут получены множественные результаты, при этом значения трехосевых координат нескольких найденных трехмерных облаков точек лидара усредняются для уменьшения погрешности.

Шаг VIII: возвращаясь к шагу IV, можно итерационно просмотреть полученные данные трехмерного облака точек лидара и изображения с камеры во всех позициях, чтобы получить серию пар координатных угловых точек трехмерного облака точек лидара и изображения с камеры, соотношение преобразования координат угловых точек изображения камеры и координат трехмерного облака точек лидара

,

где [u_c, v_c] - координаты угловых точек шахматной клетки изображения камеры, K - внутренний параметр камеры, R- матрица поворота совместной калибровки, P(x, y, z) - координаты трехмерного облака точек лидара на угловой точке шахматной клетки, T- матрица сдвига совместной калибровки; вводятся полученные координаты трехмерного облака точек каждой группы лидара и координаты угловых точек шахматной клетки изображения камеры, и, наконец, получают матрицу поворота R и матрицу сдвига T, таким образом завершается совместная калибровка лидара с неповторяющимся сканированием и камеры.

Изобретение относится к способам совместной калибровки лидара и камеры. Технический результат заключается в повышении точности калибровки. Способ совместной калибровки лидара и камера заключается в фиксации лидара и камеры на одном основании, сохранении относительного положения лидара и камеры неизменным в соответствии с неповторяющимися характеристиками сканирования такого лидара, самодельная шахматная калибровочная пластина большого размера последовательно размещается в различных позициях в перекрывающемся поле зрения лидара и камеры и данные трехмерного облака точек преобразуются в двумерное нормализованное полутоновое изображение в соответствии с интенсивностью облака точек, затем выполняется определение углов на нормализованном полутоновом изображении и изображении с камеры, чтобы получить соответствующие пары угловых точек, затем на основе обратного поиска угловых точек определяются точные координаты угловых точек трехмерного облака точек и на основе соответствующих координат угловых точек изображения с камеры получаются результаты совместной калибровки. 4 з.п. ф-лы, 4 ил.

1. Метод совместной калибровки лидара и камеры, отличающийся тем, что шаги калибровки заключаются в следующем:

шаг I: фиксация лидара и камеры на одном основании, сохранение относительного положения лидара и камеры неизменным, обеспечение того, чтобы перекрывающееся поле зрения между лидаром и камерой составляло более 50% от поля зрения камеры, и переход к шагу II;

шаг II: калибровка камеры для получения внутреннего параметра камеры , где f_x и f_y обозначают фокусное расстояние камеры, c_x и c_y - смещение оптической оси камеры в системе координат изображения, и переход к шагу III;

шаг III: последовательное размещение шахматной калибровочной пластины в различных позициях в перекрывающихся полях зрения лидара и камеры для сбора данных с камеры и лидара, в каждой позиции камера получает один кадр данных изображения, а лидар получает данные трехмерного облака точек в течение 20-30 с, и переход к шагу IV;

шаг IV: данные трехмерного облака точек лидара и изображения с камеры, полученные в каждой позиции, проверяют и при наличии данных, которые не полностью и нечетко отражают шахматную калибровочную пластину, эти данные отбрасывают, осуществляют подстройку положения шахматной калибровочной пластины, сбор данных в этой позиции повторяют, после этого можно перейти к шагу V, в противном случае переходят непосредственно к шагу V;

шаг V: выполнение нормализации полученных данных трехмерного облака точек лидара в направлении оси x для создания двухмерного нормализованного полутонового изображения лидара, при этом шкалу полутонов пикселей в двухмерном нормализованном полутоновом изображении лидара определяют на основе информации об интенсивности облака точек в данных трехмерного облака точек лидара, и переход к шагу VI;

шаг VI: определение углов выполняют на полученном двумерном нормализованном полутоновом изображении лидара и изображении с камеры для получения координат угловых точек шахматной клетки на двумерном нормализованном полутоновом изображении лидара и изображении с камеры соответственно, и можно перейти к шагу VII;

шаг VII: координаты угловых точек на двумерном нормализованном полутоновом изображении каждой группы лидара меняют на противоположные, чтобы получить соответствующие координаты угловых точек трехмерного облака точек лидара на шахматной клетке, и переход к шагу VIII;

шаг VIII: возвращаясь к шагу IV, итерационно просматривают полученные данные трехмерного облака точек лидара и изображения с камеры в каждой позиции, чтобы получить серию пар координатных угловых точек трехмерного облака точек лидара и изображения с камеры, соотношение преобразования координат угловых точек изображения камеры и координат трехмерного облака точек лидара

,

где [u_c, v_c] - координаты угловых точек шахматной клетки изображения камеры, K - внутренний параметр камеры, R - матрица поворота совместной калибровки, P (x, y, z) - координаты трехмерного облака точек лидара на угловой точке шахматной клетки, T - матрица сдвига совместной калибровки; вводят полученные координаты трехмерного облака точек каждой группы лидара и координаты угловых точек шахматной клетки изображения камеры и получают матрицу поворота R и матрицу сдвига T, таким образом завершают совместную калибровку лидара с неповторяющимся сканированием и камеры.

2. Метод совместной калибровки лидара и камеры по п. 1, отличающийся тем, что метод сканирования лидара является неповторяющимся, траекторию сканирования лидара не повторяют, и после статического сканирования в течение нескольких секунд покрытие поля зрения приближается к 100%.

3. Метод совместной калибровки лидара и камеры по п. 1, отличающийся тем, что на шаге III количество различных позиций составляет от 9 до 20 в зависимости от размера области перекрывающегося поля зрения.

4. Метод совместной калибровки лидара и камеры по п. 1, отличающийся тем, что на шаге III для того, чтобы полностью захватить изображения с камеры и данные трехмерного облака точек лидара в разных позициях в перекрывающемся поле зрения при условии, что лидар и камера могут полностью собрать все данные с шахматных калибровочных пластин, калибровочные пластины должны быть расположены так, чтобы покрыть ближнюю, дальнюю, левую и правую границы и центральное положение области перекрывающегося поля зрения лидара и камеры с расстоянием 3-5 м между соседними позициями.

5. Метод совместной калибровки лидара и камеры по п.1, отличающийся тем, что на шаге V в процессе создания нормализованного полутонового изображения лидара координаты трехмерного облака точек сначала нормализуются и задается точка данных трехмерного облака точек лидара P₀ (x₀, y₀, z₀, i₀), где i₀ - информация об интенсивности координатных точек трехмерного облака точек данного лидара, которая выдается непосредственно лидаром;

направление оси x нормализуют для получения координат ;

далее разрешение двумерного нормализованного полутонового изображения лидара устанавливают на u₀ * v₀,

а усиление - ;

координаты пикселя двухмерного нормализованного полутонового изображения лидара , преобразованные из трехмерного облака точек лидара;

в то же время максимальное значение интенсивности облака точек во всех данных трехмерного облака точек лидара, собранных в каждой позиции, считают как i_max, а значение шкалы полутонов в координатах пикселя [u, v] двухмерного нормализованного полутонового изображения лидара равно .