Способ измерения дальности до вагона на прямолинейном участке железнодорожного пути Российский патент 2022 года по МПК G01C3/06 

Изобретение относится к области информационно-измерительных систем и может найти применение в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования маневрового тепловоза с автоматической системой управления (МТ с АСУ) вагон железнодорожного состава. При этом расстояние от вагона МТ с АСУ оценивается с целью минимизации времени, затрачиваемого на приближение к составу, т.е. торможение тепловоза до скорости сцепки (не более 2 км/ч) начинается только при приближении к составу на некоторое критическое расстояние. Указанное критическое расстояние зависит от заданной скорости движения МТ с АСУ на свободном прямолинейном участке железнодорожного пути.

Из уровня техники известен способ измерения расстояния на цифровой видеокамере с помощью мишени (патент RU 2655467, опубл. 28.05.2018, МПК: G01C 3/06 (2006.01)). Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t расстояние до объекта вычисляется по формуле:

где F - фокусное расстояние объектива видеокамеры;

R - физический размер радиуса мишени;

rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;

pix - физический размер пикселя видеоизображения (на матрице камеры).

Недостатком способа является необходимость установки мишени на всех объектах, до которых требуется измерять дальность.

Указанного недостатка лишен способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути (патент RU 2750364, опубл. 28.06.2021, МПК: G01C 3/00 (2006.01)), по совокупности признаков выбранный в качестве прототипа. В способе прототипа дополнительная установка на вагон мишени или иных реперных устройств не требуется: опорными (реперными) точками выступают автоматически выделяемые на изображении камеры точки контакта рельсов железнодорожного пути с колесной парой. Поскольку ширина рельсового пути априорно известна, это позволяет решить задачу измерения дальности с применением математической модели проективной камеры. При этом при нахождении маневрового локомотива на прямолинейном участке пути с помощью установленной на нем камеры выделяют контурный препарат вертикальных линий наблюдаемой сцены, на котором с применением преобразования Хафа выделяют N≥2 прямых линий. После анализа параметров данных линий ρ и θ в пространстве параметров Хафа оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона, и решают уравнения проективной геометрии.

Технический результат в способе прототипа достигается за счет свойства геометрической постановки задачи: на прямолинейном участке пути для камеры, линия визирования которой коллинеарна горизонтальной строительной оси МТ с АСУ и сонаправлена с ней (фиг. 1), для наклонной дальности до ближайшего вагона справедливо соотношение

где L - ширина ширину железнодорожного пути, m_1н и m_2н - нормированные однородные пиксельные координаты изображений рельсов в точках контакта M₁ и М₂ с колесной парой вагона,

где K - матрица внутренних параметров камеры, а нормированное фокусное расстояние ƒ проективной камеры по определению (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) равно единице: ƒ_н=1.

Главная точка камеры на фиг. 1 обозначена символом m_C. Как следует из геометрических построений фиг. 1, для нахождения искомой горизонтальной дальности D необходимо вычислить:

где Δϕ - угловое расстояние между оптической осью OZ_к камеры и направлением на середину отрезка М₁М₂.

Угол ϕ_х оценивают по сигналам инерциального измерительного модуля, встроенного в корпус камеры либо закрепленного на нем. Для проективной камеры

Недостатком способа прототипа является необходимость выполнения преобразования Хафа (Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.) для поиска на изображении прямых линий. Данное преобразование при своей программной реализации требует выполнения вычислений в цикле с уровнем вложенности три: по двум пиксельным координатам и по параметру угла наклона θ, который изменяется в пределах [0, 180°] с шагом, как правило, в 1°.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в отсутствии способа измерения дальности до вагона по информации от единственной камеры, в котором при выделении изображений рельсов на кадре с данной камеры не применялось бы преобразование Хафа.

Технический результат заключается в уменьшении объема вычислений, требуемых для оценки дальности до вагона по изображению с камеры.

Технический результат достигается уменьшением объема вычислений, требуемых для выделения контуров, соответствующих изображениям рельсов железнодорожного пути.

Уменьшение объема вычислений реализуется посредством исключения преобразования Хафа из способа измерения дальности при компенсации проективных искажений рельсов пути в кадре с камеры. Указанная компенсация достигается, например, применением методики «Bird-Еуе View» (от англ. - «изображение с высоты птичьего полета»), т.е. формирования кадра с виртуальной камеры, имитирующего снимок наблюдаемой сцены с некоторой высоты с направлением оптической оси данной камеры строго в надир. При этом ориентация контуров рельсов пути в кадре априорно известна: они располагаются строго вертикально. Для поиска двух наиболее выраженных на контурном препарате прямых необходимо только выполнить подсчет контурных точек в каждом столбце изображения. Таким образом, выполнять преобразование Хафа не требуется. Это уменьшает уровень вложенности цикла до двух (только по двум пиксельным координатам - для выполнения преобразования «Bird-Еуе View») и понижает асимптотическую вычислительную сложность способа измерения расстояния.

Матрица проективного преобразования (томографии) Н может быть сформирована, например, с помощью как непосредственного указания вручную пиксельных координат 4-х точек кадра, по две точки на каждом рельсе, и их желаемых пиксельных координат в кадре без проективных искажений (Maire F., Bigdeli A. Obstacle-free range determination for rail track maintenance vehicles // Proc. of 11^th Int. Conf. on Control Automation Robotics & Vision. Singapore, 2010. P. 2172-2178), так и с применением методики компенсации проективных искажений при маловысотной съемке (Холопов И.С. Алгоритм коррекции проективных искажений при маловысотной съемке // Компьютерная оптика. 2017. Т. 41. №2. С. 284-290).

Применение преобразования типа «Bird-Еуе View» снижает разрешающую способность для объектов, расположенных у краев кадра. Поэтому данное проективное преобразование предлагается применять не к исходному изображению с камеры (фиг. 2), как это реализовано, например, в работе (Maire F., Bigdeli A. Obstacle-free range determination for rail track maintenance vehicles // Proc. of 11^th Int. Conf. on Control Automation Robotics & Vision. Singapore, 2010. P. 2172-2178), а уже к бинаризованному изображению контурного препарата. Действительно, после преобразования типа «Bird-Еуе View» изображения фиг. 2 разрешение в верхней части кадра уменьшается (фиг. 3). Для формирования фиг. 3 применены формулы из работы (Холопов И.С. Алгоритм коррекции проективных искажений при маловысотной съемке // Компьютерная оптика. 2017. Т. 41. №2. С. 284-290) со следующими численными значениями параметров: наклон камеры в угломестной плоскости равен -0,5°, высота камеры относительно пути равна 3,5 метра, положение виртуальной камеры, формирующей кадр «Bird-Еуе View», относительно реальной камеры: смещение на 20 метров вперед и на 25 метров вверх; соотношение фокусных расстояний реальной и виртуальной камер равно 1:1.

В отличие от способа прототипа, для кадра с камеры (фиг. 2) после бинаризации контурного препарата (на фиг. 4 приведен его негатив) реализуется проективное преобразование с матрицей томографии Н (фиг. 5), а затем выполняется подсчет пикселей с ненулевой яркостью в каждом столбце.

Затем на изображении с компенсированными проективными искажениями оставляют только два столбца с наибольшим количеством пикселей с ненулевой яркостью. Данные столбцы являются наиболее вероятными кандидатами на контуры кромок рельсов того пути, по которому движется маневровый тепловоз. Негатив данного кадра приведен на фиг. 6. Далее с помощью обратного проективного преобразования (с матрицей Н^-1) находят соответствующие данным столбцам уравнения прямых на исходном кадре и повторяют действия согласно способу прототипа:

используют точки, принадлежащие данным прямым, как бинарную маску, т.е. выполняют операцию морфологического пересечения с бинаризованным изображением (фиг. 4) контурного препарата;

для пикселей результата морфологического пересечения (фиг. 7), выполняют морфологическую операцию «дилатация»,

определяют однородные пиксельные координаты точек m₁ и m₂, соответствующих потенциальным местам контакта рельсов с колесной парой вагона;

переходят к нормированным пиксельным координатам m_1н и m_2н и вычисляют по ним наклонную дальность по формуле (2) и горизонтальную дальность - по формуле (4).

Схема алгоритма, реализующего предлагаемый способ измерения дальности до вагона, приведена на фиг. 8.

Оценим изменение асимптотической вычислительной сложности при отказе от преобразования Хафа с количеством градаций по угловой координате N_θ для изображения с шириной и высотой W и H пикселей соответственно.

Пусть после адаптивной бинаризации доля пикселей с ненулевой яркостью составила величину ε<<1. Тогда, даже если заменить вычисление тригонометрических функций синус и косинус их табулированными значениями, для преобразования Хафа потребуется 2WHεN_θ операций умножения и WHεN_θ операций сложения, поскольку для каждого пикселя с ненулевой яркостью вычисляется параметрическое уравнение потенциально проходящей через него прямой xcosθ+ysinθ=ρ. Не нарушая общности задачи оценивания асимптотической вычислительной сложности, допустим, что операции умножения и сложения выполняются за одинаковое время. Тогда можно считать, что общее количество элементарных вычислительных операций для выделения рельсов в способе прототипа

Для предлагаемого способа для каждого пикселя с ненулевой яркостью выполняется проективное преобразование:

Поскольку последний элемент вектора однородных пиксельных координат m равен единице по определению, а последний элемент матрицы томографии также принято нормировать к единице (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.), то выполнение проективного преобразования (7) для каждого пикселя потребует 8 операций умножения (шесть - на умножение матрицы на вектор и два - на нормировку m_H) и 6 операций сложения. Так как кадр с преобразованием «Bird-Еуе View» в общем случае имеет иные ширину и высоту, чем исходный, обозначим их соответственно символами W_BW и H_BW соответственно. Поэтому общее количество элементарных вычислительных операций для выделения рельсов в предлагаемом способе

Из сравнения (6) и (8) получим, что выигрыш предлагаемого способа в объеме вычислительных операций для реализации выделения изображений рельсов пути равен

Например, при типовом для преобразования Хафа значении параметра N_θ=180, параметре адаптивной бинаризации ε=0,01, а также при W_BW=Н и H_BW=2Н, как это принято на фиг. 5, выигрыш в объеме ЭВО для выделения контуров рельс

В = 2,7 W/H,

т.е. для стандартных соотношений W\H цифровых камер, равных 4:3 или 16:9, выигрыш В>3.

Таким образом, предлагаемый способ обеспечивает измерение дальности до вагона по информации от единственного кадра камеры и на этапе поиска изображений рельсов имеет меньшую асимптотическую вычислительную сложность по сравнению с прототипом.

Способ измерения дальности основан на выделении на изображении контурного препарата рельсов железнодорожного пути; выполнении проективного преобразования для компенсации проективных искажений; выделении на полученном изображении без искажений вертикальных прямых, соответствующих изображениям рельсов; поиске соответствующих им прямых на изображении контурного препарата; нахождении пиксельных координат точек, соответствующих местам контактов колесной пары вагона и рельсов пути; вычислении дальности до вагона путем решения уравнений проективной геометрии при априорно известной ширине железнодорожного пути L. Технический результат заключается в уменьшении объема вычислений, требуемых для оценки дальности до вагона по изображению с камеры. 8 ил.

Способ измерения дальности до вагона, заключающийся в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, определенным по контурному препарату видеоизображения, в котором при нахождении на прямолинейном участке железнодорожного пути на видеоизображении выделяют сектор, в пределах которого формируют контурный препарат вертикальных линий; на контурном препарате оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути; для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек m₁ и m₂, соответствующих потенциальным местам контакта рельсов с колесной парой вагона; по данным точкам измеряют наклонную дальность до вагона как отношение априорно известной ширины железнодорожного пути L к длине отрезка m₁m₂, крайние точки которого в плоскости изображения соответствуют потенциальным точкам контакта рельсов M₁ и М₂ с колесной парой вагона; находят горизонтальную дальность до вагона как произведение наклонной дальности на косинус угла между плоскостью горизонта и направлением на середину отрезка M₁M₂ в угломестной плоскости, отличающийся тем, что выполняют проективное преобразование для компенсации проективных искажений, определяют на изображении без проективных искажений два столбца с наибольшим количеством пикселей с ненулевой яркостью и с помощью обратного проективного преобразования находят соответствующие данным столбцам уравнения прямых на исходном кадре.