СПОСОБ И СИСТЕМА КАЛИБРОВКИ КОМПЛЕКСА ИЗМЕРЕНИЯ СКОРОСТИ ТРАНСПОРТНЫХ СРЕДСТВ Российский патент 2016 года по МПК G01P21/00 G08G1/00 

Изобретение относится к области измерений и анализа изображения, а именно к способам и системам калибровки комплекса измерения скорости транспортных средств, и может быть использовано для упрощения ввода в эксплуатацию комплексов измерения скорости транспортных средств, использующих видеокамеру, на этапе оценки параметров калибровки объектива видеокамеры и ее положения по отношению к плоскости дорожного полотна.

Известен способ калибровки комплекса измерения скорости транспортных средств с помощью видеокамеры, описанный в патенте RU 2470376, в котором оценку расстояния от камеры до транспортного средства производят путем предварительной идентификации и детектирования расположения отдельных элементов государственного регистрационного знака номерной пластины транспортного средства. В этом способе геометрические свойства выделенной на изображении номерной пластины используют для вычисления как высоты подвеса пластины над плоскостью дорожного полотна, так и расстояния от камеры до номерной пластины.

В этом способе подразумевают, что известен ряд калибровочных параметров контрольно-измерительного комплекса, таких как фокусное расстояние видеокамеры, высота подвеса видеокамеры над дорожным полотном, угол поворота видеокамеры в горизонтальной плоскости от линии направления дороги, отклонение от вертикали, угол продольного уклона дороги, угол поперечного уклона дороги и другие. Используя эти внешние и внутренние параметры калибровки объектива видеокамеры, а также такие характеристики, как ширина рамки номерной пластины, угол наклона сторон четырехугольника на изображении рамки к горизонтальным и вертикальным осям изображения, производят расчет расстояния и высоты, которые впоследствии можно использовать для определения скорости транспортного средства. Этот способ выбран в качестве прототипа заявленного изобретения.

К недостаткам способа-прототипа следует отнести его недостаточную универсальность, а именно невозможность работы с механически поврежденными номерными пластинами или частично перекрытыми для обзора видеокамерой. Способ-прототип основывается на предположении о том, что номерная пластина транспортного средства является плоской. При этом существуют примеры, когда номерной знак не является плоским вследствие нарушения правил соответствия ГОСТ в результате ДТП или других механических повреждений номерной пластины. Даже в случае соответствия крепления номерного знака установленным правилам и ГОСТам существуют примеры, когда точное определение координат рамки номерной пластины затруднено, вследствие изгиба номерной пластины или частичного перекрытия ее обзора другими элементами транспортного средства.

Другим недостатком способа-прототипа является повышенная сложность, вследствие необходимости измерения большого количества внешних калибровочных параметров видеокамеры, таких как высота подвеса камеры, расстояний до ближнего и дальнего края наблюдаемой зоны и т.д. Кроме того, измерение высоты может быть затруднено уклоном дороги, т.е. измерение высоты подвеса видеокамеры над поверхностью земли может не дать нужного результата. Измерение расстояний до ближнего и дальнего края наблюдаемой зоны затруднено необходимостью определения точки проекции видеокамеры на плоскость полотна дороги. Параметры, связанные с поворотами оптической оси видеокамеры относительно наблюдаемой видеокамерой сцены, и параметры поворота видеокамеры относительно оптической оси подвержены колебаниям, связанным с климатическими изменениями, поэтому их значения необходимо постоянно уточнять в процессе эксплуатации измерительного комплекса, что является достаточно трудоемким процессом, если пользоваться лишь стандартными геодезическими инструментами для измерения.

Сложность осуществления способа-прототипа обусловлена также тем, что в нем, для фиксации калибровочного шаблона в различных точках дорожного полотна, необходимо в течение нескольких часов перекрывать движение на участке дороги, на котором вводится в эксплуатацию контрольно-измерительный комплекс.

Задачей заявленного изобретения является создание более простых и универсальных способа и системы калибровки комплекса измерения скорости транспортных средств, содержащего видеокамеру, которые не полагаются на особые свойства пластины государственного номерного знака, не требуют перекрытия движения транспортных средств на контролируемом участке дороги во время осуществления калибровки, а также осуществляют процесс калибровки в автоматическом режиме с возможностью внесения поправок в значения калибровочных параметров во время эксплуатации комплекса измерения скорости транспортных средств.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.

Фиг. 1. Блок-схема системы калибровки комплекса измерения скорости транспортных средств, выполненная согласно изобретению.

Фиг. 2. Схема проекции координат (x,y) дорожного полотна на пиксельные координаты (u,v) изображения, формируемого видеокамерой, выполненная согласно изобретению.

Фиг. 3. Иллюстрация перерасчета центральной проекции в ортогональную , выполненная согласно изобретению.

Фиг. 4. Иллюстрация трех световых меток, формируемых лазерным дальномером и расположенных на дорожном полотне, выполненная согласно изобретению.

Элементы:

1 - видеокамера;

2 - поворотная платформа;

3 - лазерный дальномер;

4 - электронно-вычислительное устройство.

В заявленных системе и способе калибровки комплекса измерения скорости транспортных средств калибровочные данные или параметры калибровки - это набор информации, на основании которой по изображению транспортного средства можно восстановить положение ортогональной проекции хотя бы одной фиксированной точки транспортного средства на плоскость дорожного полотна. Далее данную проекцию можно использовать для вычисления скорости транспортного средства с помощью комплекса измерения скорости транспортных средств, поскольку, анализируя поток видеокадров, получают динамику перемещения проекции некоторой фиксированной точки транспортного средства по плоскости дорожного полотна.

Калибровочными данными является следующий набор параметров и функций (Фиг. 2):

- h - высота подвеса видеокамеры 1 (Фиг. 2) над плоскостью дорожного полотна с учетом уклона;

- (x₀,y₀) -координаты проекции оптического центра видеокамеры на плоскость дорожного полотна с учетом уклона в некоторой ортонормированной системе координат в указанной плоскости;

- х=f(u,v), у=g(u,v) - функции проектирования пиксельных координат (u,v) изображения в соответствующие им координаты (x,y) системы координат, связанной с дорожным полотном.

Функции x=f(u,v), y=g(u,v) зависят от модели видеокамеры и ее объектива, а также от положения видеокамеры в пространстве относительно дорожного полотна.

Модели объектива видеокамеры и самой видеокамеры определяют так называемые внутренние параметры видеокамеры, т.е. параметры, которые не зависят от положения видеокамеры в пространстве. К таким параметрам относятся параметры искажения изображения за счет дисторсии, угол зрения видеокамеры или ее фокусное расстояние, также модель может характеризовать параметры, которые определяют неточность позиционирования чувствительной матрицы и объектива видеокамеры друг относительно друга, допущенные в производстве видеокамеры. Поворот видеокамеры относительно оптической оси и другие характеристики положения видеокамеры в пространстве относительно наблюдаемой схемы называют внешними параметрами.

В том случае, когда объектив видеокамеры представим в виде модели тонкой линзы, преобразование х=f(u,v), y=g(u,v) является проективным, и имеет вид

где А, В, С, D, Е, F, G, H - коэффициенты, определяемые фокусным расстоянием и внешними параметрами видеокамеры. Для объективов, которые дают изображения с существенными искажениями дисторсии, необходимо сначала выполнить преобразование устранения данных дисторсий, а затем использовать формулы проективного преобразования. В итоге формулы x=f(u,v), y=g(u,v) получаются существенно более сложного вида, чем отношение линейных функций.

Приведенный пример параметров калибровки видеокамеры не является единственным. Существуют эквивалентные наборы калибровочных данных, однако они являются производными по отношению к приведенному примеру, равно как и высота точки установки видеокамеры, ее ортогональная проекция и формулы центрального проектирования являются производными по отношению к ним.

Данные в виде h, (х₀,y₀), x=f(u,v), y=g(u,v) используют для поиска ортогональной проекции точки изображения на плоскость дорожного полотна следующим образом:

1. Для точки (u,v) с помощью проективных формул определяют центральную проекцию

на плоскость дороги относительно точки крепления видеокамеры.

2. Если известна высота точки, соответствующей изображению точки (u,v), над плоскостью дороги, то искомую ортогональную проекцию на плоскость дороги определяют по формулам

которые следуют из подобия треугольников (Фиг. 3).

3. Для пар точек (u₁,v₁), (u,v), между которыми известно расстояние d в мировом пространстве и для которых известно, что они расположены на одной высоте над плоскостью дороги, соответствующие ортогональные проекции на плоскость дороги (х₁,y₁) и (x₂,y₂) определяют на основании системы уравнений из соотношений предыдущего пункта:

Предполагая, что точка крепления видеокамеры расположена выше транспортного средства, т.е. , в результате решения данной системы получают следующий результат для высоты точки:

далее определяют (x₁,y₁), (x₂,y₂) путем подстановки найденной высоты в исходную систему уравнений. Примером пары точек, для которых обычно известно, что они находятся на одной высоте, и для которых задано промежуточное расстояние, являются нижние угловые точки рамки номерной пластины транспортного средства: для каждого типа номера размер номерной пластины регулируется ГОСТ. Другим примером могут быть, например, симметричные точки автомобильных фар транспортного средства известной модели.

Таким образом, вышеизложенным показано, что приведенный набор исходных калибровочных данных достаточен для того, чтобы решать задачу измерения скорости с помощью комплекса измерения скорости транспортных средств, содержащего одну видеокамеру. Однако основная трудность заключается в том, чтобы получить эти калибровочные данные при вводе измерительного комплекса в эксплуатацию.

Рассмотрим более подробно функционирование заявленных системы и способа калибровки комплекса измерения скорости транспортных средств (Фиг. 1-4). Заявленная система содержит видеокамеру 1 и установленный на поворотной платформе 2 лазерный дальномер 3, проецирующий в точку измерения расстояния лазерную световую метку видимого диапазона с такой яркостью и с таким размером, что центр метки легко идентифицируем на изображении с видеокамеры 1. Видеокамера 1, поворотная платформа 2 и лазерный дальномер 3 соединены с электронно-вычислительным устройством 4. Поворотная платформа 2 размещена в непосредственной близости от объектива видеокамеры 1 таким образом, что расстояние между поворотной платформой 2 с лазерным дальномером 3 и оптическим центром видеокамеры 1 значительно меньше, чем расстояние от ближнего края наблюдаемой зоны (дорожного полотна) до оптического центра видеокамеры 1. Электронно-вычислительное устройство 4 принимает цифровое изображение от видеокамеры 1; анализирует изображение от видеокамеры 1, при этом с помощью методов компьютерного зрения определяет участки дорожного полотна, свободные от транспортных средств, а также определяет положение световой метки лазерного дальномера 3 и ее пиксельные координаты на принятых изображениях. Кроме того, электронно-вычислительное устройство 4 принимает данные о расстоянии до световой метки, формируемой лазерным дальномером 3 на дорожном полотне, и формирует сигналы управления поворотной платформой 2, которые направляют поворотную платформу 2 и лазерный дальномер 3 на участок дорожного полотна, а также сигналы управления лазерным дальномером 3, которые включают лазерный дальномер 3 в каждой позиции поворотной платформы 2.

Внутренние параметры видеокамеры 1, такие как координаты расположения чувствительной матрицы относительно объектива и его фокусное расстояние и параметры дисторсии, как правило, измеряют в лабораторных условиях, поскольку с одной стороны внутренние параметры не подвержены изменениям после установки измерительного комплекса в точку эксплуатации, а с другой стороны, наиболее эффективные методы оценки внутренних параметров предполагают размещение перед видеокамерой специальных шаблонов. Существуют автоматические и полуавтоматические методы расчета внутренних параметров видеокамер с помощью данных шаблонов. С помощью этих методов, во-первых, формируют нелинейное преобразование исходных координат изображения (u,v) в координаты , такое, что искажения дисторсии устраняются, а во-вторых, вычисляют коэффициенты матрицы преобразования

где (X,Y,Z) - координаты точки пространства в ортонормированной системе координат, связанной с видеокамерой 1, а - обобщенные координаты изображения данной точке в пространстве пиксельных координат, т.е. . Для определенности полагают, что ось Z совпадает с оптической осью видеокамеры 1 и совпадает с наблюдаемой сценой (дорожным полотном), а оси X и Y параллельны и сонаправлены с осями координат изображения в пространстве .

Таким образом, процедура внутренней калибровки видеокамеры 1 позволяет сопоставить любой точке пространства (X,Y,Z) координату исходного изображения (u,v) с помощью функций , и коэффициентов проективного отображения А′, В′, С′, D′, Е′, F′, G′, Н′. Для связи координат изображения (u,v) с координатами (x,y) дорожного полотна требуется провести процедуру внешней калибровки, которая установит высоту установки h видеокамеры 1 над плоскостью дорожного полотна δ, а также положение плоскости δ в системе координат, связанной с видеокамерой 1 (Фиг. 4). Таким образом, для решения поставленной задачи требуется получить уравнение плоскости δ в параметрической форме в виде разложения по двум единичным взаимно перпендикулярным векторам, параметры-коэффициенты разложения будут играть роль координат плоскости дорожного полотна (x,y). Подставив параметрическое представление плоскости δ в формулу проективного преобразования, можно получить требуемую связь (u,v) (x,y). Уравнение плоскости δ в канонической форме дополнительно позволит установить высоту установки видеокамеры 1 и проекцию (х₀,y₀) точки крепления видеокамеры 1 на плоскость δ.

Для осуществления внешней калибровки лазерный дальномер 3 направляют с помощью поворотной платформы так, чтобы световая метка дальномера 3 появилась в поле зрения видеокамеры 1. Для того чтобы избежать ослепления водителей транспортных средств, а также для того, чтобы измерить расстояние именно до дорожного полотна, а не до элементов проезжающего транспортного средства, световую метку формируют только в те моменты, когда электронно-вычислительное устройство 4, обрабатывая сигнал с видеокамеры 1 с помощью алгоритмов выделения и классификации движущихся объектов, оценивает вероятность нахождения транспортного средства в области формирования световой метки как пренебрежимо малую. Во время измерения электронно-вычислительное устройство 4 регистрирует расстояние L_* до световой метки, измеряемое лазерным дальномером 3, а также с помощью методов компьютерной обработки изображений определяет координаты световой метки (u_*,v_*) на изображении. Обладая этими данными, а также параметрами и функциями внутренней калибровки, с помощью электронно-вычислительного устройства 4 определяют координаты (X_*,Y_*,Z_*) световой метки на дорожном полотне. Способ определения координат световой метки основан на том, что формулы

задают систему линейных уравнений, решением которой является направляющий вектор с координатами (l_x,l_y,l_z) для прямой, которая соединяет точку крепления видеокамеры 1 с точкой (Х_*,Y_*,Z_*). Поскольку L_* - это расстояние от точки крепления видеокамеры 1 до точки (X_*,Y_*,Z_*), то

т.е. нормированный направляющий вектор прямой умножен на измеренное дальномером 3 расстояние и на знак sign l_z, поскольку направление оси Z определено как «от видеокамеры 1».

Если поворотная платформа 2 снабжена прецизионными датчиками углов поворота и наклона, то калибровку внутренних параметров (объектива и чувствительной матрицы) видеокамеры 1 можно провести в том числе для видеокамеры 1, для которой не проводилась калибровка внутренних параметров объектива и чувствительной матрицы в лабораторных условиях, в этом случае компоненты вектора направления лазерного луча (l_x,l_y,l_z), вдоль которого совершаются измерения, могут быть рассчитаны на основе углов поворота поворотной платформы 2. Функции преобразования координат, получаемые в процессе внутренней калибровки видеокамеры 1 с помощью шаблонов в лабораторных условиях, в данном случае можно составить табличным способом.

Изменяя положение лазерного дальномера 3 с помощью поворотной платформы 2 под управлением электронно-вычислительного устройства 4, выполняют серию из N>3 измерений, устанавливающих положение точек {L_i(X_i,Y_i,Z_i)} плоскости дорожного полотна δ (Фиг. 4). В теории линейной алгебры показывается, что плоскость, проходящая относительно множества точек так, что сумма квадратов расстояний от плоскости до заданных точек минимальна, проходит через геометрический центр исходных точек, при этом нормаль плоскости является собственным вектором, соответствующим минимальному собственному для матрицы

а два собственных вектора данной матрицы ковариаций, соответствующих наибольшим собственным значениям, будут перпендикулярны третьему собственному вектору с наименьшим собственным значением, и, следовательно, могут быть использованы для параметрической формы записи уравнений плоскости δ, определяющих плоскость как множество линейных комбинаций двух векторов, отложенных от фиксированной точки .

Таким образом, если λ₁, λ₂, λ₃ - упорядоченные по убыванию собственные значения матрицы С, являющиеся корнями кубического уравнения det(A-λE)=0, которым соответствуют собственные векторы v₁, v₂, v₃, нормированные на единицу, то уравнение плоскости S может быть с известной степенью приближения представлено в следующем виде:

что соответствует канонической форме, либо в виде

что соответствует параметрической форме. Поскольку кубическое уравнение допускает аналитическое решение с помощью формулы Кардано, задача поиска собственных векторов v₁, v₂, v₃ и собственных значений λ₁, λ₂, λ₃ для матрицы С может быть решена аналитически. Допустимо также использовать метод вращений. Для повышения устойчивости вычислений можно применить статистические методы, например итерационный метод формирования случайных выборок из множества исходных данных RANSAC.

Итак, требуемые данные калибровки, с помощью которых можно рассчитать положение транспортных средств на дорожном полотне, могут быть получены на основании данных внутренней калибровки объектива и чувствительной матрицы видеокамеры 1 и данных, полученных с помощью измерений лазерного дальномера 3, установленного на управляемой поворотной платформе 3. Внутреннюю калибровку видеокамеры 1 можно не проводить, если поворотная платформа 2 снабжена точными датчиками углов поворота.

Высоту крепления видеокамеры 1 определяют с помощью электронно-вычислительного устройства 4 с использованием формулы определения расстояния от точки (0,0,0) до плоскости на основе канонической формулы плоскости δ:

Проекцией точки крепления видеокамеры 1 на плоскость δ является пересечение данной плоскости с перпендикулярной к ней прямой, проходящей через точку (0,0,0), поэтому координаты проекции (x₀,y₀) в плоскости являются решением системы линейных уравнений

относительно переменных X,Y,Z, х₀, y₀, γ.

Наконец, преобразование х=f(u,v), y=g(u,v) является обратным к преобразованию, получаемому из следующей суперпозиции:

где функции , определяют преобразование, обратное к преобразованию компенсации дисторсии изображения.

Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Группа изобретений относится к области измерений, а именно к калибровке комплекса измерения скорости транспортных средств. Система и способ калибровки комплекса измерения скорости транспортных средств (ТС) содержат электронно-вычислительное устройство (ЭВУ), соединенное с видеокамерой, с поворотной платформой и с лазерным дальномером. Видеокамера выполнена с возможностью формирования изображения дорожного полотна и находящихся на нем ТС, а также с возможностью передачи изображения в ЭВУ. Лазерный дальномер выполнен с возможностью проецирования в точку измерения расстояния световой метки из трех разных угловых позиций. ЭВУ выполнено с возможностью анализа изображения, а также с возможностью вычисления калибровочных параметров и функций, необходимых для позиционирования объектов, с использованием данных о расстоянии до световых меток и их пиксельных координат, а также с использованием данных внутренней калибровки объектива и чувствительной матрицы видеокамеры. Технический результат заключается в упрощении калибровки комплекса измерения скорости ТС, содержащего видеокамеру, осуществлении калибровки в автоматическом режиме с возможностью внесения поправок в значения калибровочных параметров во время эксплуатации комплекса измерения скорости ТС. 2 н.п. ф-лы, 4 ил.

1. Система калибровки комплекса измерения скорости транспортных средств, содержащая электронно-вычислительное устройство, соединенное с видеокамерой, с поворотной платформой и с лазерным дальномером, который установлен на поворотной платформе, причем
- видеокамера, данные внутренней калибровки объектива и чувствительной матрицы которой известны, выполнена с возможностью формирования изображения дорожного полотна и находящихся на нем транспортных средств, а также с возможностью передачи изображения в электронно-вычислительное устройство;
- поворотная платформа выполнена с возможностью углового перемещения, по меньшей мере, в три разные угловые позиции в соответствии с сигналами управления электронно-вычислительного устройства, причем поворотная платформа размещена в непосредственной близости от объектива видеокамеры, при этом расстояние между поворотной платформой и оптическим центром видеокамеры значительно меньше, чем расстояние от ближнего края наблюдаемого видеокамерой дорожного полотна до оптического центра видеокамеры;
- лазерный дальномер выполнен с возможностью проецирования в точку измерения расстояния, расположенную на дорожном полотне, световой метки, различимой с помощью видеокамеры в каждой, по меньшей мере, из трех разных угловых позиций поворотной платформы в соответствии с сигналами управления электронно-вычислительного устройства, а также с возможностью измерения расстояния до световой метки в каждой, по меньшей мере, из трех разных угловых позиций поворотной платформы и отправки данных об измеренном расстоянии в электронно-вычислительное устройство;
- электронно-вычислительное устройство выполнено: с возможностью анализа изображения, формируемого видеокамерой, при этом выделения на изображении с помощью методов компьютерного зрения участков дорожного полотна, свободных от транспортных средств, и формирования сигналов управления поворотной платформой, которые направляют поворотную платформу и лазерный дальномер на участок дорожного полотна, свободный от транспортных средств, по меньшей мере, в три разные угловые позиции; с возможностью формирования сигналов управления лазерным дальномером, которые включают лазерный дальномер в каждой, по меньшей мере, из трех угловых позициях поворотной платформы; с возможностью приема данных о расстояниях до каждой, по меньшей мере, из трех световых меток, формируемых лазерным дальномером на дорожном полотне; с возможностью распознавания, по меньшей мере, трех световых меток на изображении с видеокамеры и определения пиксельных координат световых меток на изображении; с возможностью вычисления калибровочных параметров и функций, необходимых для позиционирования объектов, находящихся на изображении, формируемом видеокамерой, с использованием данных о расстоянии до световых меток и их пиксельных координат, а также с использованием данных внутренней калибровки объектива и чувствительной матрицы видеокамеры.

2. Способ калибровки комплекса измерения скорости транспортных средств, в котором
- размещают над дорожным полотном видеокамеру, а также размещают поворотную платформу с установленным на ней лазерным дальномером в непосредственной близости от объектива видеокамеры, при этом расстояние между поворотной платформой с лазерным дальномером и оптическим центром видеокамеры значительно меньше, чем расстояние от ближнего края наблюдаемого видеокамерой дорожного полотна до оптического центра видеокамеры;
- с помощью видеокамеры, данные внутренней калибровки объектива и чувствительной матрицы которой известны, формируют изображение дорожного полотна и находящихся на нем транспортных средств;
- с помощью электронно-вычислительного устройства: анализируют изображение, формируемое видеокамерой, при этом выделяют на изображении с помощью методов компьютерного зрения участки дорожного полотна, свободные от транспортных средств, и формируют сигналы управления поворотной платформой, которые направляют поворотную платформу и лазерный дальномер на участок дорожного полотна, свободный от транспортных средств, по меньшей мере, в три разные угловые позиции; формируют сигналы управления лазерным дальномером, которые включают лазерный дальномер в каждой, по меньшей мере, из трех угловых позиций поворотной платформы;
- перемещают поворотную платформу с установленным на ней лазерным дальномером, по меньшей мере, в три разные угловые позиции в соответствии с сигналами управления электронно-вычислительного устройства;
- с помощью лазерного дальномера проецируют в точку измерения расстояния, расположенную на дорожном полотне, световую метку, различимую с помощью видеокамеры, в каждой, по меньшей мере, из трех угловых позиций поворотной платформы в соответствии с сигналами управления электронно-вычислительного устройства, а также измеряют расстояние до световой метки в каждой, по меньшей мере, из трех угловых позиций поворотной платформы и отправляют данные об измеренном расстоянии в электронно-вычислительное устройство;
- с помощью электронно-вычислительного устройства: принимают данные о расстояниях до каждой, по меньшей мере, из трех световых меток, формируемых лазерным дальномером на дорожном полотне; распознают, по меньшей мере, три световых метки на изображении с видеокамеры и определяют пиксельные координаты световых меток на изображении; вычисляют калибровочные параметры и функции, необходимые для позиционирования объектов, находящихся на изображении, формируемом видеокамерой, используя данные о расстоянии до световых меток и их пиксельных координатах, а также используя данные внутренней калибровки объектива и чувствительной матрицы видеокамеры.