Способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути Российский патент 2021 года по МПК G01C3/00 

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования маневрового тепловоза с автоматической системой управления (МТ с АСУ) вагон железнодорожного состава. При этом расстояние от вагона МТ с АСУ оценивается с целью минимизации времени, затрачиваемого на приближение к составу, т.е. торможение тепловоза до скорости сцепки (не более 2 км/ч) начинается только при приближении к составу на некоторое критическое расстояние. Указанное критическое расстояние зависит от заданной скорости движения МТ с АСУ на свободном прямолинейном участке железнодорожного пути.

Из уровня техники известен способ определения расстояния до объекта при помощи камеры (варианты) (патент RU 2602729, опубликовано 10.04.2016, МПК: G01C 11/36 (2006.01), G01C 3/08 (2006.01)), в котором при известных калибровочных характеристиках цифровой камеры (коэффициентах радиальной дисторсии ее объектива, а также матрице внутренних параметров К, содержащей выраженные соответственно в единицах длины и ширины пикселей фокусные расстояния и координаты главной точки) получают один кадр, выделяют на нем объект и измеряют расстояние до него на основании метрических и угловых размеров объекта. При этом расстояние до объекта r определяют по формуле:

r=0,5M/tg(0,5α),

где М и α - линейный и угловой размеры объекта соответственно. Предполагается, что линейный размер М известен априорно, а угловой размер а может быть вычислен по крайним пикселям изображения объекта. Если однородные координаты этих пикселей m₁=[x₁, y₁, 1]^T и m₂=[x₂, y₂, 1]^T (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.), то угловой размер:

где «•» - знак скалярного произведения, «T» - знак транспонирования, «||m||» - два-норма вектора ||m||.

Недостатком способа является то, что измерение дальности по (1) не учитывает ракурса наблюдения объекта съемки, поэтому абсолютная погрешность будет мала только в том случае, если плоскость, в которой расположен объект съемки, параллельна плоскости сенсора камеры, то есть проективные искажения отсутствуют.

Указанного недостатка лишен способ измерения расстояния на цифровой видеокамере с помощью мишени (патент RU 2655467, опубликовано 28.05.2018, МПК: G01C 3/06 (2006.01)). Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t расстояние до объекта вычисляется по формуле:

где F - фокусное расстояние объектива видеокамеры;

R - физический размер радиуса мишени;

rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;

pix - физический размер пикселя видеоизображения (на матрице камеры).

Недостатком способа является необходимость установки мишени на всех объектах, до которых требуется измерять дальность.

Указанного недостатка лишен способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути (патент RU 2729512, опубликовано 07.08.2020, МПК: G01C 3/00 (2006.01)), по совокупности признаков выбранный в качестве прототипа. В способе прототипа дополнительная установка на вагон мишени или иных реперных устройств не требуется: опорными (реперными) точками выступают автоматически выделяемые на изображении камеры точки контакта рельсов железнодорожного пути с колесной парой. Поскольку ширина рельсового пути априорно известна, это позволяет решить задачу измерения дальности с применением метода Perspective-2-Point (Р2Р). При этом при нахождении маневрового локомотива на прямолинейном участке пути с помощью установленной на нем камеры выделяют контурный препарат вертикальных линий наблюдаемой сцены, на котором с применением преобразования Хафа выделяют N ≥ 2 прямых линий. После анализа параметров данных линий ρ и θ в пространстве параметров Хафа оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона, и решают задачу Р2Р, где известным линейным размером выступает ширина железнодорожного пути L.

Геометрическая постановка задачи для способа прототипа приведена на фиг. 1.

Недостатком прототипа является то, что решение задачи Р2Р хотя и позволяет оценить дальность до объекта при любых ракурсах его съемки (за исключением ситуации, когда оптический центр камеры и обе реперные точки лежат на одной прямой - для геометрической постановки задачи фиг. 1 это ограничение не выполняется), но при вычислении требует решения квадратного уравнения, а также вычисления нелинейной функции arctg(⋅).

Техническая проблема, решаемая созданием заявленного изобретения, заключается в отсутствии пассивного способа измерения дальности до вагона с малым количеством операций умножения и вычисления тригонометрических функций. Так, для решения задачи Р2Р, геометрическая постановка которой приведена на фиг. 2, требуется (Kukelova Z., Bujnak М., Pajdla T. Closed-form solutions to the minimal absolute pose problems with known vertical direction // Proc. of the 10th Asian conference on Computer vision. Part II. Queenstown, 2010. P. 216-229.) решение системы из двух матричных уравнений:

где i=1, 2 - номера реперных точек, [m_i]_x - кососимметрическая матрица, составленная из пиксельных однородных координат изображения i-й реперной точки m_i=[u_i, v_i, 1]^T,

K - матрица внутренних параметров камеры, t - вектор параллельного переноса начала координат системы координат камеры относительно начала системы, в которой измеряются координаты реперных точек M_i, «|» - обозначение операции аугментации - пристыковки к произведению матриц R_xzR_y(q) вектора-столбца t справа, R_xz - матрица поворота системы координат камеры по тангажу ϕ_x и крену ϕ_z, оцениваемая с помощью инерциального измерительного модуля (ИИМ),

R_xz = R_zR_x,

где

а матрица поворота по курсу

определена параметрически:

путем замен

В источнике (Калинкин А.И., Холопов И.С. Оценка погрешности определения угловых координат объекта с двумя реперными излучателями // Вестник Рязанского государственного радиотехнического университета. 2019. №69. С. 52-59) показано, что решение системы уравнений (1) сводится к поиску решения корней квадратного уравнения относительно переменной q:

где

Корень q, соответствующий угловому положению объекта в поле зрения камеры, позволяет вычислить угловое направление репер M₁ в плоскости курса

а также элемент вектора параллельного переноса, соответствующего смещению вдоль оси OZ:

Искомая дальность в способе прототипе D=|t_z|.

Технический результат заявляемого изобретения заключается в оценивании дальности до вагона не на основе решения задачи Perspective-2-Point, а на основе решения уравнений проективной геометрии, что требует меньших вычислительных затрат.

Технический результат достигается за счет свойства геометрической постановки задачи на фиг. 1: на прямолинейном участке пути для камеры, линия визирования которой коллинеарная горизонтальной строительной оси МТ с АСУ и сонаправлена с ней, ось OZ_к камеры перпендикулярна отрезку M₁M₂, а, следовательно, длины отрезков m₁m₂ и М₁М₂ связаны между собой через априорно известный коэффициент пропорциональности - ширину железнодорожного пути L.

Из подобия треугольников Cm₁m₂ и CM₁M₂ следует, что наклонная дальность D_H (фиг. 3) равна

где m_1H и m_2H - нормированные однородные пиксельные координаты,

а нормированное фокусное расстояние f проективной камеры по определению (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) равно единице: f_H=1. Главная точка камеры на фиг. 3 обозначена символом m_C.

Как следует из геометрических построений фиг. 3, для нахождения искомой горизонтальной дальности D необходимо вычислить:

где Δϕ - угловое расстояние между оптической осью OZ_к камеры и направлением на отрезок M₁M₂.

Угол ϕ_x оценивается по сигналам ИИМ, встроенного в корпус камеры либо закрепленного на нем. При этом для учета неколлинеарности осей чувствительности ИИМ и координатных осей камеры выполняется взаимная калибровка ИИМ и камеры (Кудинов И.А., Никифоров М.Б., Холопов И.С. Калибровка камер и вспомогательных датчиков для разноспектральной панорамной обзорной оптико-электронной системы с распределенной апертурой // Информационные технологии и нанотехнологии ИТНТ-2019: сборник трудов V международной конференции и молодежной школы. Самара: Новая техника, 2019. С. 563-574; Render J., Siegwart R. Camera/IMU calibration revisited // IEEE Sensors Journal. 2017. Vol. 17, No. 11. P. 3257-3268; Xiao Y., Ruan X., Chai J., Zhang X., Zhu X. Online IMU self-calibration for visual-inertial systems // Sensors. 2019. Vol. 19, No. 1624. P. 1-26; Huang W., Liu H. Online initialization and automatic camera-IMU extrinsic calibration for monocular visual-inertial SLAM // Proc. Of IEEE Int. Conf. on Robotics and Automation. Brisbane, 2018. P. 5182-5189).

Для модели проективной камеры угол Δθ вычисляется по формуле

Для камер с узким полем зрения за счет свойств функции арктангенс вблизи нуля справедливо приближенное равенство

Таким образом, в отличие от способа прототипа для вычисления горизонтальной дальности в предлагаемом способе вместо решения (2) с расчетом (3) и последующими вычислениями (4) и (5) требуется вычислить только (6)-(9) или, для узкопольной камеры, (6)-(8) и (10), что позволяет сократить вычислительные затраты на решение задачи измерения дальности до вагона.

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Заявленный способ косвенного измерения дальности от маневрового тепловоза до вагона заключается в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки, с его размером в пикселях, определенным по контурному препарату видеоизображения, в котором при нахождении маневрового тепловоза на прямолинейном участке железнодорожного пути на видеоизображении выделяют сектор, в пределах которого формируют конкурный препарат вертикальных линий. На контурном препарате с применением преобразования Хафа или Радона выделяют N ≥ 2 прямых линий; а после анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих потенциальным местам контакта рельсов с колесной парой вагона. Причем сначала измеряют наклонную дальность до вагона как отношение априорно известной ширины железнодорожного пути L к длине отрезка, крайние точки m₁ и m₂ которого в плоскости изображения соответствуют потенциальным точкам контакта рельсов M₁ и M₂ с колесной парой вагона, а затем находят горизонтальную дальность до вагона как произведение наклонной дальности на косинус угла между плоскостью горизонта и направлением на середину отрезка M₁M₂ в угломестной плоскости. Технический результат - оценивание дальности до вагона на основе решения уравнений проективной геометрии, что требует меньших вычислительных затрат. 1 з.п. ф-лы, 3 ил.

1. Способ косвенного измерения дальности от маневрового тепловоза до вагона, заключающийся в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки, с его размером в пикселях, определенным по контурному препарату видеоизображения, в котором при нахождении маневрового тепловоза на прямолинейном участке железнодорожного пути на видеоизображении выделяют сектор, в пределах которого формируют конкурный препарат вертикальных линий; на контурном препарате с применением преобразования Хафа или Радона выделяют N ≥ 2 прямых линий; после анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз; для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих потенциальным местам контакта рельсов с колесной парой вагона, отличающийся тем, что сначала измеряют наклонную дальность до вагона как отношение априорно известной ширины железнодорожного пути L к длине отрезка, крайние точки m₁ и m₂ которого в плоскости изображения соответствуют потенциальным точкам контакта рельсов M₁ и M₂ с колесной парой вагона, а затем находят горизонтальную дальность до вагона как произведение наклонной дальности на косинус угла между плоскостью горизонта и направлением на середину отрезка M₁M₂ в угломестной плоскости.

2. Способ по п. 1, отличающийся тем, что для измерения косинуса угла между плоскостью горизонта и направлением на середину отрезка М₁М₂ в угломестной плоскости применяется инерциальный измерительный модуль.