Способ калибровки внешних параметров видеокамер Российский патент 2022 года по МПК G06T7/80 G06V20/58 G06T7/536 

Изобретение относится к области технического зрения, а именно к способам калибровки внешних параметров оптических видеокамер.

Функционирование видеокамер в составе наземного транспортного средства (НТС), в том числе автономных, сопровождается особыми эксплуатационными условиями. Вибрации и механические воздействия, проявляющиеся в процессе движения НТС, приводят к дрейфу внешних параметров видеокамеры, таких как углы поворота видеокамер по тангажу, крену и рысканью, что негативно сказывается на параметрах матрицы поворота, посредством которой осуществляется преобразование координат наблюдаемого объекта из системы координат, связанной с видеокамерой, в систему координат, связанную с НТС.

Таким образом, нескорректированный дрейф углов поворота видеокамер в процессе движения НТС приводит к накоплению ошибки локализации наблюдаемого объекта или автономного НТС и, как следствие, к снижению точности определения местоположения указанных объектов.

Из области техники известны следующие способы калибровки внешних параметров видеокамер, направленные на решение указанной технической проблемы.

Известен способ автоматической калибровки видеокамеры на основе мобильной платформы (KR20150096128), включающий следующие этапы: получение с видеокамеры, расположенной на мобильной платформе, четырех или более изображений целевого объекта в разных направлениях, этап предварительной обработки, выделение нескольких прямых линий из каждого входного изображения, получение средней линии путем классификации типов обнаруженных прямых линий, определение координат точки схода на основе указанной средней линии и этап получения значения параметра применения координат обнаруженной точки схода к формуле калибровки для вычисления значений внутренних параметров.

Известен способ для онлайн-калибровки видеосистемы (US2011115912) с использованием точек схода, оцениваемых по кадрам изображений с видеокамеры, содержащих идентифицированные разметки или края дороги. Точки схода определяются путем нахождения или экстраполяции, по крайней мере, одной левой и / или правой стороны разметки или краев дороги до точки пересечения, посредством чего рассчитывается долгосрочное среднее местоположение точки схода с помощью методов временной фильтрации из последовательности изображений, даже когда только одна сторона дороги, разметки полосы движения или края видна в любом заданном кадре изображения одновременно, и из усредненных по времени координат местоположения точки схода выводятся углы рысканья и тангажа видеокамеры.

Общий недостаток для представленных технических решений заключается в использовании нескольких изображений, получаемых с видеокамер, для определения точки схода, что снижает скорость обработки изображений и увеличивает потребные вычислительные мощности.

Известен способ определения угла крена видеокамеры, установленной на транспортном средстве (CN112017249), включающий в себя следующие этапы: получение изображений с видеокамеры, установленной на транспортном средстве, извлечение всех прямых линий в горизонтальном направлении области кузова транспортного средства на изображении, определение всех наклонов прямых линий в горизонтальном направлении и выделение среди них среднего значения наклона прямой линии, вычисление угла крена видеокамеры в соответствии с выбранным средним значением наклона прямой линии. Также отмечено, что угол азимута и угол тангажа получают по положению точки схода, определяемому по выделенным на изображении линиям полосы движения.

В данном способе положение точки схода, предпочтительно, определяют по двум отобранным прямолинейным линиям, выделенных на изображении, что приводит с снижению точности определения координат точки схода и, как следствие, к снижению точности калибровки внешних параметров видеокамер.

Известен способ автоматической калибровки видеокамер (US2018324415), согласно которому в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, выбираются ключевые точки изображения в области, ограниченной местоположением дороги, при этом ключевые точки отслеживаются с помощью метода оптического потока, применяют процедуры фильтрации к ключевым точкам, выделяют, по меньшей мере, две прямые линии, соответствующие противоположным сторонам дороги, затем для выделенных линий определяют точку схода, сравнивают положение полученной точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов тангажа и рыскания видеокамеры по формулам:

где pitch, yaw - углы тангажа и рыскания видеокамеры;

V_p, U_p - координаты точки схода изображения;

C_x, C_y - координаты принципиальной точки видеокамеры;

f_x, f_y - фокусные расстояния.

Для представленного способа характерно то, что прямые выделяют на нескольких изображениях путем построения прямой (траектории) движения выбранной точки от одного изображения к другому, что снижает скорость обработки изображений и увеличивает потребные вычислительные мощности бортового вычислителя.

Указанное техническое решение наиболее близко по технической сущности к заявленному изобретению и может выступать в качестве прототипа.

Задачей, на решение которой направлено заявленное изобретение, является создание способа калибровки внешних параметров видеокамер, применяемых в составе НТС, на основе определения положения точки схода по выделенным прямолинейным отрезкам на единичном изображении, получаемом с видеокамеры, позволяющего с высокой точностью проводить оценку изменения углов поворота видеокамер по тангажу и рысканью в процессе движения НТС и выполнения виртуального поворота видеокамеры, при этом реализация способа имеет преимущество в части снижения требований к потребным вычислительным мощностям при обработке изображений.

В данном способе под виртуальным поворотом видеокамеры понимают такое преобразование изображения к новому изображению, которое могло быть получено с видеокамеры, повернутой на заданный угол.

Технический результат заявленного изобретения заключается в повышении точности калибровки внешних параметров видеокамер.

Технический результат достигается за счет осуществления способа калибровки внешних параметров видеокамер, характеризующегося тем, что в процессе движения транспортного средства (ТС) с видеокамер получают изображения окружающей среды, на изображении выделяют линейные объекты окружающей среды, формируют изображение с линейными объектами и выделяют прямолинейные отрезки, определяют положение точки схода для выделенных прямолинейных отрезков как положение точки пересечения сформированных прямолинейных отрезков путем определения параметров функции, описывающей прямую, сформированную на основе множества точек, в виде которых представляют совокупность выделенных прямолинейных отрезков, при этом параметры функции указанной прямой определяют как средние значения соответствующих параметров прямых, построенных между всевозможными парами данных точек, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры, формируют скорректированное изображение с учетом определенных углов поворота видеокамеры.

В предпочтительном варианте осуществления способа калибровки внешних параметров видеокамер, прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа.

В рамках изложения сущности предлагаемого способа вводятся следующие пояснения, раскрывающие смысловое значение используемых терминов.

Так, под точкой схода понимается точка пересечения на изображении образов прямых, параллельных в реальном мире.

Принципиальная точка – точка пересечения плоскости изображения с оптической осью видеокамеры.

На фиг.1 представлены этапы последовательности действий, характеризующие предлагаемый способ калибровки внешних параметров видеокамер, где 1 –получение исходного изображения с видеокамер НТС, 2 – преобразование исходного изображения к оттенкам серого, 3 – выделение линейных объектов окружающей среды, 4 – фильтрация изображения, 5 – формирование Хаф-образа, 6 − выделение прямолинейных отрезков на исходном положении, 7 – нахождение точки схода на исходном изображении.

Способ калибровки видеокамер в предпочтительном варианте реализуется следующим образом (фиг. 1).

В процессе движения НТС передние оптические видеокамеры НТС регистрируют изображения линейных объектов окружающей среды проезжей части дороги, по которой движется данное транспортное средство (1).

Необходимо отметить, что для осуществления способа НТС выполняет движение, параллельно прямолинейным объектам, находящимся в поле зрения видеокамеры (дорожная разметка, края зданий и дорог).

Изображения с видеокамер поступают на бортовой вычислитель и обрабатываются независимо друг от друга. Исходя из этого, все последующие этапы рассматриваются с точки зрения одной единственной видеокамеры.

Исходное изображение подвергают предварительной обработке, заключающейся в исправлении радиальной дисторсии для устранения искажений наблюдаемых объектов, вызванных линзой видеокамеры, и преобразовывают к оттенкам серого (2), затем на изображении выделяют линейные объекты окружающей среды, предпочтительно, методом Канни, после чего найденные линейные объекты объединяются в одно изображение попиксельным сложением (3).

На следующем этапе выполняется сглаживание изображения фильтром Гаусса для компенсации ошибок детекции линейных объектов окружающей среды (4). Далее на сглаженном изображении выделяют прямолинейные отрезки, пересекающееся в точке схода.

Прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа (БПХ) согласно которому строят Хаф-образ (5), затем определяют область поиска точки схода на Хаф-образе.

Для выявления области поиска точки схода формируют черно-белое изображение, где белым цветом отмечают окрестность ожидаемой точки схода, к полученному изображению применяют БПХ, на полученном Хаф-образе определяют координаты крайнего левого и правого пикселей с ненулевым значением, при этом значения данных пикселей на оси абсцисс задают диапазон поиска точки схода.

Для выделения прямолинейных отрезков на Хаф-образе регистрируют самый яркий белый пиксель на изображении – максимум, который изначально представляется в виде прямой вида y=kx+b, после чего его окрестность удаляют из Хаф-образа путем присвоения соответствующим пикселям нулевых значений.

Найденная точка максимума с координатами (k, b) при ее наложении на исходное изображение преобразуется обратно в прямолинейный отрезок, описываемый функцией вида y=kx+b.

В процессе формирования набора прямолинейных отрезков, проверяют горизонтально или вертикально ориентирован найденный отрезок и в случае углового рассогласования данного отрезка от вертикальной или горизонтальной прямой менее чем на заданную пороговую угловую величину, данный отрезок исключают из набора прямолинейных отрезков. Данный шаг позволяет уменьшить негативное влияние дополнительных объектов, находящихся в сцене (крыш машин, деревьев и. т. д.).

По завершению этапа формирования набора прямолинейных отрезков на исходном изображении, определяют положение точки схода (7) как положение точки пересечения выделенных на изображении прямолинейных отрезков. С этой целью совокупность выделенных прямолинейных отрезков, каждый из которых описывается функцией вида y=kx+b, преобразуют в пространство параметров (k, b), в котором каждый прямолинейный отрезок представляют в виде точки с координатами (k, b).

При такой параметризации набор указанных прямолинейных отрезков, пересекающихся на исходном изображении, представлен множеством точек, лежащих на одной прямой, характеризующейся параметрами , и описываемой функцией вида y=x+.

Для определения данных параметров строят прямые между всевозможными парами точек, а затем среди множества коэффициентов наклона указанных прямых определяют среднее значение, которое и является коэффициентом наклона прямой , характеризующей положение точки схода. Свободный коэффициент определяется по найденному коэффициенту как среднее значение среди множества свободных коэффициентов построенных прямых при неизменном коэффициенте наклона .

Полученную прямую вида y=x+ преобразовывают в точку на исходном изображении с координатами () путем нанесения ее на прямоугольную систему координат.

Таким образом, построенная точка на исходном изображении с координатами () является точкой схода.

С целью оценки внешних параметров калибровки видеокамер, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры следующим образом:

где , - углы тангажа и рысканья;

, - координаты найденной точки схода;

, - координаты принципиальной точки;

, - фокусные расстояния по ширине и высоте.

По результатам оценки изменения углов поворота видеокамеры в процессе движения НТС проводят коррекцию их значений и осуществляют виртуальный поворот видеокамеры.

Таким образом, предлагаемый способ калибровки внешних параметров видеокамер с высокой точностью и вычислительной эффективностью позволяет производить оценку углов тангажа и рысканья видеокамеры в процессе движения НТС и может найти широкое применение в составе системы локализации автономного НТС с целью повышения точности определения собственного положения.

Изобретение относится к способу калибровки внешних параметров оптических видеокамер. Техническим результатом является повышение точности калибровки внешних параметров видеокамер. Способ калибровки внешних параметров видеокамер характеризуется тем, что в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, на изображении выделяют линейные объекты окружающей среды, формируют изображение с линейными объектами и выделяют прямолинейные отрезки, определяют положение точки схода для выделенных прямолинейных отрезков, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры, формируют скорректированное изображение с учетом определенных углов поворота видеокамеры. 1 з.п. ф-лы, 1 ил.

1. Способ калибровки внешних параметров видеокамер, характеризующийся тем, что в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, на изображении выделяют линейные объекты окружающей среды, формируют изображение с линейными объектами и выделяют прямолинейные отрезки, определяют положение точки схода для выделенных прямолинейных отрезков как положение точки пересечения сформированных прямолинейных отрезков путем определения параметров функции, описывающей прямую, сформированную на основе множества точек, в виде которых представляют совокупность выделенных прямолинейных отрезков, при этом параметры функции указанной прямой определяют как средние значения соответствующих параметров прямых, построенных между всевозможными парами данных точек, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры, формируют скорректированное изображение с учетом определенных углов поворота видеокамеры.

2. Способ калибровки внешних параметров видеокамер по п.1, характеризующийся тем, что прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа.