СПОСОБ АВТОМАТИЧЕСКОЙ КАЛИБРОВКИ УГЛОВ КРЕПЛЕНИЯ ВИДЕОКАМЕР В СОСТАВЕ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ Российский патент 2023 года по МПК B60R1/00 G06K15/00 

Изобретение относится к области определения и приведения к заданным значениям параметров видеокамер и может быть использовано в системах технического зрения, например, колесных роботов.

Для описания данного изобретения в заявке будет приведен пример применения способа автоматической калибровки углов крепления видеокамер на основе оптического потока в составе функций настройки параметров видеокамер колесного робота, однако для специалиста в данной области очевидно, что применение рассматриваемых технических признаков возможно и в других системах, использующих системы технического зрения.

Колесные роботы оснащаются комплексом сенсоров, обеспечивающих возможность локализации робота в пространстве, детектирование целевой траектории и возможных препятствий. Одним из основных источников обработки данных с целью обеспечения локализации является система видеокамер в составе робота.

Функционирование видеокамер в составе колесных роботов, в том числе автономных, сопровождается особыми эксплуатационными условиями. Вибрации и механические воздействия, проявляющиеся в процессе движения, приводят к дрейфу внешних параметров видеокамеры, таких как углы поворота видеокамер по тангажу и рысканью, что негативно сказывается на параметрах матрицы поворота, посредством которой осуществляется преобразование координат наблюдаемого объекта из системы координат, связанной с видеокамерой, в систему координат, связанную с роботом.

Известен способ автоматической калибровки видеокамер (US 2018324415), согласно которому в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, выбираются ключевые точки изображения в области, ограниченной местоположением дороги, при этом ключевые точки отслеживаются с помощью метода оптического потока, применяют процедуры фильтрации к ключевым точкам, выделяют, по меньшей мере, две прямые линии, соответствующие противоположным сторонам дороги, затем для выделенных линий определяют точку схода, сравнивают положение полученной точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов тангажа и рыскания видеокамеры.

Известен способ автоматической калибровки видеокамеры на основе мобильной платформы (KR 20150096128), включающий следующие этапы: получение с видеокамеры, расположенной на мобильной платформе, четырех или более изображений целевого объекта в разных направлениях, этап предварительной обработки, выделение нескольких прямых линий из каждого входного изображения, получение средней линии путем классификации типов обнаруженных прямых линий, определение координат точки схода на основе указанной средней линии и этап получения значения параметра применения координат обнаруженной точки схода к формуле калибровки для вычисления значений внутренних параметров.

Известен способ для онлайн-калибровки видеосистемы (US 2011115912) с использованием точек схода, оцениваемых по кадрам изображений с видеокамеры, содержащих идентифицированные разметки или края дороги. Точки схода определяются путем нахождения или экстраполяции, по крайней мере, одной левой и / или правой стороны разметки или краев дороги до точки пересечения, посредством чего рассчитывается долгосрочное среднее местоположение точки схода с помощью методов временной фильтрации из последовательности изображений, даже когда только одна сторона дороги, разметки полосы движения или края видна в любом заданном кадре изображения одновременно, и из усредненных по времени координат местоположения точки схода выводятся углы рысканья и тангажа видеокамеры.

Для указанных аналогов характерно то, что в целях калибровки параметров видеокамер выделяют прямые на нескольких изображениях, далее путем построения прямой (траектории) движения выбранной точки от одного изображения к другому вычисляют углы отклонения видеокамер, однако при этом не учитываются параметры движения колесного робота несущего указанную камеру (например скорость движения), что снижает точность определения координат точек схода на ключевых фреймах и, как следствие, уменьшается точность определения углов крепления видеокамер, а также при обработке изображений не используется возможность по их оптимизации, что сокращает скорость их обработки и увеличивает потребные вычислительные мощности бортового вычислителя в составе колесного робота.

Задачей, поставленной при разработке данного изобретения, являлось создание способа автоматической калибровки углов крепления видеокамер в составе систем технического зрения, обеспечивающего высокую точность определения параметров положения видеокамеры, с возможностью снижения требований к мощности вычислительного устройства, требуемой для обработки изображений.

Технический результат, достигаемый при реализации данного изобретения, заключается в повышении точности калибровки углов крепления видеокамеры, при обеспечении возможности снижения требований к производительности вычислительного устройства, обеспечивающего обработку изображений с целью определения параметров положения видеокамеры.

Указанный технический результат достигается способом автоматической калибровки углов крепления видеокамер в составе систем технического зрения, согласно которому на первом этапе носителем системы технического зрения производится калибровочный проезд, в процессе которого с видеокамер поступает видеопоток на котором выделяются ключевые фреймы, при этом фиксация ключевых фреймов осуществляется с заранее заданным расстоянием, определение которого обеспечивается за счет информации поступающей от одометрических сенсоров в составе носителя системы технического зрения, далее между парами ключевых фреймов производится расчет оптического потока, включающий определение положения соответствующих пикселей ключевых фреймов, после чего вычисляется маска малоинформативных зон, путем применения фильтров Гаусса для оптимизации полученных изображений, и осуществляется построение отрезков - траекторий движения ключевых фреймов, отрезки, концы которых, попадают в маску малоинформативных зон исключаются, затем вычисляется матрица векторов, указывающих из оптического центра камеры в концы отрезков движения, далее матрица декомпозируется и вычисляется вектор смещения оптического центра камеры между кадрами, формируется коллекция векторов смещения оптического центра камеры, после чего производится расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который, в свою очередь, соответствует направлению оси движения, направленной вперед, ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно относительно оси по крену, сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку.

Указанные технические признаки позволяют осуществить определение и калибровку углов крепления видеокамер в составе системы технического зрения. Носителем системы технического зрения может являться как транспортное средство, так и беспилотный колесный робот, имеющий в своем составе одометрические датчики, позволяющие фиксировать скорость движения. Калибровочный проезд необходим для формирования изображений при помощи видеокамер в составе системы технического зрения, фиксация которых осуществляется с заранее заданным расстоянием, после чего полученные изображения передается в память вычислительного устройства. Обработка изображения с целью поиска и фильтрации малоинформативных зон осуществляется в вычислительном устройстве, представляющим из себя центральный процессор компьютера, либо процессор GPU. Обработка производится с применением фильтров Гаусса с целью оптимизации изображений, для повышения скорости их дальнейшей обработки. Результатом обработки является расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который, в свою очередь, соответствует направлению оси движения, направленной вперед. Учитывая, что камера закреплена неподвижно относительно оси крена, сопоставление оси крена, сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку. Также в случае применения креплений видеокамер с тремя степенями свободы калибровка может осуществляться с учетом определения угла крена.

В предпочтительном варианте исполнения изобретение осуществляется следующим образом.

Колесным роботом, содержащим в своем составе систему технического зрения, производится калибровочный проезд, параметры которого (скорость и шаг формирования изображений - ключевых фреймов) задаются заранее. В процессе движения с видеокамер поступает видеопоток, первый фрейм которого обозначается как ключевой. Фиксация последующих ключевых фреймов осуществляется с заранее заданным расстоянием проезда, которое определяется с учетом оценки скорости движения колесного робота и высоты крепления видеокамеры. Определение пройденного расстояния обеспечивается за счет информации, поступающей от одометрических сенсоров в составе колесного робота. Так же для обеспечения высокой скорости обработки, и снижения требований к вычислительным мощностям вычисляется маска малоинформативных зон, путем применения фильтров Гаусса. Затем формируются пары корреспондированных точек, то есть отрезков движения из старого кадра в новый кадр, в результате чего формируются отрезки h - траектории движения ключевых фреймов, отрезки, концы которых попадают в маску малоинформативных зон, исключаются. На основе оставшихся отрезков вычисляется Essential matrix E (матрица Е), то есть такая матрица, для которой выполняется pEq = 0 где p и q вектора, указывающие из оптического центра камеры в концы отрезков движения h. Матрица E декомпозируется и вычисляется изменение положения камеры между кадрами - матрица поворота R и направление смещения оптического центра v (в системе координат камеры). Производится накопление векторов смещения оптического центра камеры на парах ключевых кадров, при котором образуется коллекция Sv, на которой производится медианное усреднение векторов и расчет точки foe (focus of expansion), которая соответствует среднему вектору скорости колесного робота в координатах камеры, который, в свою очередь, соответствует направлению главной оси колесного робота, направленной вперед.

Если рассматривать движение на плоскости земли, усредненный вектор скорости колесного робота параллелен плоскости земли и точка FOE находится на линии горизонта. Ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно относительно оси по крену (если используется крепление камеры с двумя степенями свободы (тангаж и рыскание), сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления.

По результатам расчета углов крепления видеокамеры в процессе движения колесного робота проводят коррекцию их значений и осуществляют калибровку.

В случае использования крепления камеры с тремя степенями свободы, в процессе калибровки необходимо учитывать положение угла крена.

Для этого матрица E декомпозируется и вычисляется изменение угла крена видеокамеры между кадрами - матрицей поворота R и направлением смещения оптического центра v (в системе координат камеры).

В момент выполнения калибровки фиксируется матрица поворота Ri, которая фиксирует поворот между ключевыми фреймами <i, i-1>.

В процессе выполнения проезда отслеживается произведение матриц поворота R(i) = R1…Ri, которое позволяет определить вращение камеры с момента первого фрейма до фрейма i.

Для пары фреймов i<j можно рассчитать вращение от момента фрейма i до момента фрейма j на основе уравнения:

R(i)R(i, j) = R(j), т.е. R(i,j) = R-1(i)R(j).

Таким образом, метод позволяет оценить вращение камерами между кадрами i j R(i,j). Вращение может быть представлено по формуле Родригеса как ось вращения N(i,j) и угол вращения вокруг этой оси Phi(i,j). Ось вращения может быть представлена вектором направления оси U(i,j) сонаправленным с осью Z камеры, т.е. направлением “вверх”. Соответственно, угол поворота имеет знак, соответствующий виражу налево (положительный) или виражу направо (отрицательный).

В процессе выполнения виража на плоской калибровочной площадке фиксируются моменты времени, когда модуль угла вращения между фреймами Phi(j,j) превышает заранее заданное предельное значение Phi_min (например, более 15 градусов).

В этом случае фиксируется вектор оси вращения с учетом направления “вверх”.

Производится накопление и усреднение осей вращения U(i,j) и получается усредненный вектор U, который соответствует вертикальной нормали к плоскости площадки, заданной в координатах камеры. Таким образом, фиксируется вертикальная ось робота U (т.е. “вверх”) в координатах камеры.

Направление вправо фиксируется как векторное произведение FxU. Производится ортогонализация, т.е. поиск такого набора ортогональных осей, для которого направления вперед и вверх приближенно равны F и U.

Полученные вектора направления осей представляют собой матрицу направляющих косинусов, определяющие матрицу поворота камеры относительно колесного робота, по результатам расчета которой, определяют отклонения по углу крена, и в процессе движения колесного робота проводят коррекцию значений углов в соответствии с полученным отклонением по оси крена и осуществляют калибровку.

Таким образом, реализация данного способа калибровки углов крепления видеокамер позволяет с высокой точностью и вычислительной эффективностью производить оценку углов тангажа и рысканья, а также угла крена видеокамеры в процессе движения колесного робота и может найти широкое применение в составе системы позиционирования комплексов, использующих систему технического зрения.

Изобретение относится к области определения и приведения к заданным значениям параметров видеокамер и может быть использовано в системах технического зрения, например, колесных роботов. Заявлен способ автоматической калибровки углов крепления видеокамер в составе систем технического зрения. Носителем системы технического зрения производится калибровочный проезд, на котором выделяются ключевые фреймы. Вычисляются маска малоинформативных зон для оптимизации полученных изображений и матрица векторов, указывающих из оптического центра камеры в концы отрезков движения. Затем вычисляется вектор смещения оптического центра камеры между кадрами и формируется коллекция векторов смещения оптического центра камеры. Производится расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который соответствует направлению оси движения. Ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно. Сопоставление оси движения и оси по крену в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку. Повышается точность калибровки углов крепления видеокамеры на колесных роботах. 1 з.п. ф-лы.

1. Способ автоматической калибровки углов крепления видеокамер в составе систем технического зрения, характеризующийся тем, что на первом этапе носителем системы технического зрения производится калибровочный проезд, в процессе которого с видеокамер поступает видеопоток, на котором выделяются ключевые фреймы, при этом фиксация ключевых фреймов осуществляется с заранее заданным расстоянием, определение которого обеспечивается за счет информации, поступающей от одометрических сенсоров в составе носителя системы технического зрения, далее между парами ключевых фреймов производится расчет оптического потока, включающий определение положения соответствующих пикселей ключевых фреймов, после чего вычисляется маска малоинформативных зон путем применения фильтров Гаусса для оптимизации полученных изображений и осуществляется построение отрезков - траекторий движения ключевых фреймов, отрезки, концы которых попадают в маску малоинформативных зон, исключаются, затем вычисляется матрица векторов, указывающих из оптического центра камеры в концы отрезков движения, далее матрица декомпозируется и вычисляется вектор смещения оптического центра камеры между кадрами, формируется коллекция векторов смещения оптического центра камеры, после чего производится расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который, в свою очередь, соответствует направлению оси движения, направленной вперед, ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно относительно оси по крену, сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку.

2. Способ автоматической калибровки углов крепления видеокамер в составе систем технического зрения по п.1, характеризующийся тем, что калибровка производится с учетом угла крена видеокамеры, при этом вычисление угла крена видеокамеры осуществляется путем декомпозиции полученной матрицы векторов, указывающих из оптического центра камеры в концы отрезков движения, вычисления матрицы углов вращения камеры между рассматриваемыми в процессе калибровочного проезда ключевыми фреймами и фиксации предельного угла вращения видеокамеры.