СПОСОБ ДИНАМИЧЕСКОЙ КАЛИБРОВКИ КАМЕРЫ, УСТАНОВЛЕННОЙ НА АВТОМОБИЛЕ И НАПРАВЛЕННОЙ ПО ХОДУ ЕГО ДВИЖЕНИЯ Российский патент 2023 года по МПК G06T7/80 B60R1/00 

Изобретение относится к калибровке камеры, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения. Такая камера используется в системах помощи водителю для выдачи предупреждений при смене полосы движения, при опасном сближении с впереди идущим автомобилем, а также для управления переключением ближнего и дальнего света фар. Для правильной оценки расстояния до объектов и их положения на дороге необходимо знать внешние параметры калибровки камеры, такие как углы ее установки относительно продольной оси автомобиля.

В качестве прототипа выбран наиболее близкий по совокупности признаков способ калибровки камеры, установленной за лобовым стеклом на автомобиле (RU 2762201, МПК G08G 1/04 (2006.01), G06K 9/66 (2006.01), B60R 1/00 (2006.01), G06T 7/33 (2017.01), G06T 7/80 (2017.01), опубл. 16.12.2021), в котором динамическая внешняя калибровка заключается в том, что определяют углы установки камеры относительно продольной оси автомобиля, при этом регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки, формируют из них матрицу М, в ячейках которой накапливают информацию о точках пересечений траекторий особых точек в точке схода, полученные траектории периодически проверяют на длину и прямолинейность. Короткие и сильно отклоняющиеся от прямых траектории не принимают к дальнейшему рассмотрению, а оставшиеся траектории аппроксимируют прямыми. Точки их попарного пересечения суммируют в соответствующих ячейках матрицы М. Зная пиксельные координаты усредненной точки схода V=(v_x, v_y) и координаты главной точки С=(с_х, c_y), определяют углы установки камеры - тангаж β и рыскание α:

где и - фокусные расстояния в пикселях, получаемые из матрицы внутренних параметров камеры K: соответственно элементы первой и второй строки, лежащие на главной диагонали (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003.656 р.).

Поскольку калибровка по способу прототипа выполняется непосредственно при движении автомобиля, то сюжеты фиксируемых на камеру дорожных сцен априорно не известны. При этом в условиях городской застройки элементы дорожного обустройства могут лежать в плоскостях, не совпадающих с плоскостью дорожного покрытия. В таком случае траектории, сформированные их особыми точками, будут пересекаться не в точке схода. Такая ситуация характерна, например, при движении автомобиля вблизи тоннелей и путепроводов (фиг. 1): траектории особых точек, принадлежащих железобетонным конструкциям, пересекаются не в окрестности точки схода. При этом оценка координат точки схода является смещенной, и, соответственно, повышается погрешность оценки углов α и β. На фиг. 1 это точки 6-9 пересечения траекторий, которые лежат вне окрестности точки схода (см. таблицу 1).

Техническая проблема, решаемая заявляемым изобретением, заключается в увеличении погрешности оценки углов установки камеры при движении автомобиля по проезжим частям, элементы дорожного обустройства которых не лежат в одной плоскости с плоскостью дорожного покрытия.

Технический результат изобретения заключается в снижении погрешности калибровки за счет снижения погрешности оценивания пиксельных координат точки схода.

Технический результат достигается тем, что для записываемых согласно способу прототипа в матрицу М пиксельных координат точек пересечения траекторий выполняется не усреднение, а нелинейная фильтрация по принципу адаптивного медианного фильтра:

1) на первом этапе оцениваются медианное значение (x_med, y_med), а также среднеквадратические отклонения σ_х и σ_y по координатам х и у относительно медианных значений:

где N - количество точек, образованных пересечениями пар траекторий.

2) на втором этапе для оценивания координат точки V усредняются пиксельные координаты только тех точек, что удовлетворяют условиям

где w>0 - некоторый весовой коэффициент;

3) вычисленные значения v_x и v_y подставляются в формулы (1) и (2) для вычисления углов α и β соответственно.

Выполнение процедуры нелинейной фильтрации позволяет уменьшить смещение оценки пиксельных координат точки схода.

Действительно, согласно способу прототипа усредненные значения для пиксельных координат точки схода по данным таблицы составят (v_{x_прот}, v_{y_прот})=(661,658, 294,501), а смещение оценки относительно истинного положения точки схода (на фиг. 1 - вблизи окрестности точек 3-5) составит (Δх_прот, Δу_прот)=(2,32, -10,83).

Для предлагаемого способа при w - 0,5 нелинейная фильтрация обеспечивает исключение точек 6-9, при этом усредненные значения для пиксельных координат точки схода по данным таблицы составят (v_{x_предл}, v_{y_предл})=(667,708, 281,502), а смещение оценки относительно истинного положения точки схода составит Δx_предл, Δy_предл)=(3,728, -2,171).

Таким образом, погрешность оценивания более важного для выполнения проективного преобразования типа Bird-View (вид с виртуальной камеры, имитирующий вид на дорожное покрытие сверху) угла места Р снижается в |Δу_прот|/|Δу_предл|=4,98 раза.

Поскольку для наблюдения за объектами в соседних полосах проезжей части устанавливаемая за лобовым стеклом камера, как правило, является широкоугольной, то для формируемых ею изображений будут характерны нелинейные геометрические искажения (дисторсия), особенно заметные вблизи границ кадра (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.). Дисторсия приводит к искривлению траекторий движения особых точек, и, следовательно, увеличению погрешности их аппроксимации прямыми линиями. Данная ситуация для модели бочкообразной дисторсии схематично проиллюстрирована на фиг. 2, где пунктирными линиями показаны в общем случае непрямолинейные траектории перемещения особых точек в последовательности кадров, а сплошными прямыми линиями - результаты оценки данных траекторий прямыми по критерию минимума среднеквадратического отклонения. Поэтому пиксельные координаты особых точек перед оценкой траекторий их перемещения в последовательности кадров необходимо предварительно корректировать - например, согласно формулам математической модели дисторсии Брауна - Конради (Brown D.C. Close-range camera calibration // Photogrammetric Engineering. 1971. Vol. 37, No. 8. P. 855-866).

Изобретение относится к калибровке камеры, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения. Технический результат изобретения заключается в снижении погрешности калибровки за счет снижения погрешности оценивания пиксельных координат точки схода. Для определения углов установки камеры относительно продольной оси автомобиля регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки. Формируют из них матрицу М, в ячейках которой накапливают информацию о точках пересечений траекторий особых точек в окрестности точки схода. При этом полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой траектории не принимают к рассмотрению. Далее оставшиеся траектории аппроксимируют прямыми, вычисляют пиксельные координаты точек их попарного пересечения и по пиксельным координатам усредненной точки схода определяют углы установки камеры, такие как угол тангажа и угол рыскания. При этом к пиксельным координатам точек попарных пересечений траекторий применяют процедуру адаптивной медианной фильтрации для исключения из процедуры усреднения точек пересечений, лежащих вне окрестности точки схода, а к оцененным координатам особых точек - процедуру коррекции дисторсии. 1 з.п. ф-лы, 2 ил., 1 табл.

1. Способ динамической калибровки камеры, установленной на автомобиле и направленной по ходу его движения, заключающийся в том, что для определения углов установки камеры относительно продольной оси автомобиля регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки, формируют из них матрицу М, в ячейках которой накапливают информацию о точках пересечений траекторий особых точек в окрестности точки схода, полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой траектории не принимают к рассмотрению, оставшиеся траектории аппроксимируют прямыми, вычисляют пиксельные координаты точек их попарного пересечения и по пиксельным координатам усредненной точки схода определяют углы установки камеры, такие как угол тангажа и угол рыскания, отличающийся тем, что к пиксельным координатам точек попарных пересечений траекторий применяют процедуру адаптивной медианной фильтрации для исключения из процедуры усреднения точек пересечений, лежащих вне окрестности точки схода.

2. Способ по п. 1, отличающийся тем, что к оцененным координатам особых точек применяется процедура коррекции дисторсии.