Способ измерения дальности до вагона с помощью видеокамеры Российский патент 2024 года по МПК G01C3/00 

Изобретение относится к области информационно-измерительных систем и может найти применение в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования маневрового тепловоза с автоматической системой управления (МТ с АСУ) вагон железнодорожного состава. При этом расстояние от вагона МТ с АСУ оценивается с целью минимизации времени, затрачиваемого на приближение к составу, т.е. торможение тепловоза до скорости сцепки (не более 2 км/ч) начинается только при приближении к составу на некоторое критическое расстояние. Указанное критическое расстояние зависит от заданной скорости движения МТ с АСУ на свободном прямолинейном участке железнодорожного пути.

Из уровня техники известен способ измерения расстояния цифровой видеокамерой с помощью мишени (патент RU 2655467, опубл. 28.05.2018, МПК: G01C 3/06 (2006.01)). Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t расстояние до объекта вычисляется по формуле:

где F - фокусное расстояние объектива видеокамеры;

R - физический размер радиуса мишени;

rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;

pix - физический размер пикселя видеоизображения (на матрице камеры).

Недостатком способа является необходимость установки мишени на всех объектах, до которых требуется измерять дальность.

Указанного недостатка лишен способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути (патент RU 2750364, опубл. 28.06.2021, МПК: G01C 3/00 (2006.01)), по совокупности признаков выбранный в качестве прототипа. В способе прототипа дополнительная установка на вагон мишени или иных реперных устройств не требуется: опорными (реперными) точками выступают автоматически выделяемые на изображении камеры точки контакта рельсов железнодорожного пути с колесной парой. Поскольку ширина рельсового пути L априори известна, это позволяет решить задачу измерения дальности с применением математической модели проективной камеры. При этом при нахождении маневрового тепловоза на прямолинейном участке пути с помощью установленной на нем камеры выделяют контурный препарат вертикальных линий наблюдаемой сцены, на котором с применением преобразования Хафа выделяют N≥2 прямых линий. После анализа параметров данных линий ρ и θ в пространстве параметров Хафа оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона, и решают уравнения проективной геометрии.

Технический результат в способе прототипа достигается за счет свойства геометрической постановки задачи (фиг. 1): на прямолинейном участке пути для камеры с системой координат CX_кY_кZ_к, причем линия визирования камеры CZ_к направлена по ходу движения маневрового тепловоза и имеет отклонение от линии горизонта (показана на фиг. 1 пунктиром) на угол ϕ_х, наклонную дальность до вагона D_н можно оценить по формуле:

где L - ширина железнодорожного пути, m_1н и m_2н - нормированные однородные пиксельные координаты изображений рельсов в точках контакта М₁ и М₂ с колесной парой вагона,

где К - матрица внутренних параметров камеры, m₁ и m₂ - пиксельные координаты точек контакта рельсов с колесной парой, а нормированное фокусное расстояние / проективной камеры по определению (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) равно единице: ƒ_н=1.

Параметр определяет нормированную к фокусному расстоянию камеры ƒ длину отрезка m₁m₂.

Главная точка Камеры на фиг. 1 обозначена символом m_C. Как следует из геометрических построений фиг. 1, для нахождения искомой горизонтальной дальности D необходимо дополнительно вычислить:

где Δϕ - угловое расстояние между оптической осью CZ_к камеры и направлением на середину отрезка M₁M₂. Угол ϕ_х в способе прототипа оценивают по сигналам инерциального измерительного модуля, встроенного в корпус камеры либо закрепленного на нем.

Для проективной камеры без крена справедливы выражения:

Недостатком способа прототипа является необходимость выполнения контурного анализа и последующего преобразования Хафа для поиска прямых линий на контурном препарате изображения. Известно (Xuming Z., Zhouping Y., Youlun X. Edge detection of the low contrast welded joint image corrupted by noise // Proc. of 8th Int. Conf. on Electronic Measurement and Instruments. Xi'an, 2007. P. 2-876-2-879; Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. СПб: СПбГУ ИТМО, 2008. 192 с.), что на малоконтрастных изображениях, изображениях со смазом, вызванным движением носителя камеры, а также изображениях с неравномерной освещенностью или низким отношением сигнал-шум эффективность операторов выделения границ снижается.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в повышении достоверности локализации на изображении пиксельных координат m₁ и m₂ точек контакта рельсов с колесной парой вагона.

Технический результат заключается в уменьшении погрешности измерения дальности до вагона в условиях недостаточной видимости или неравномерной освещенности.

Технический результат достигается за счет распознавания с помощью алгоритма машинного обучения на изображении областей, соответствующих свободным участкам рельсового пути. При этом для задачи измерения дальности до вагона можно ввести следующий априорный алфавит распознаваемых классов (см. фиг. 2):

1) рельсы железнодорожного пути;

2) свободное от вагонов межрельсовое пространство железнодорожного пути;

3) вагоны и локомотивы.

Указанное распознавание может быть реализовано, например, посредством обучения с аугментацией (Емельянов C.O., Иванова А.А., Швец Е.А., Николаев Д.П. Методы аугментации обучающих выборок в задачах классификации изображений // Сенсорные системы. 2018. Т. 32, №3. С.236-245) сверточной нейронной сети по базе данных изображений рельсовых путей, снятых при различных погодных условиях и освещенности.

Например, машинное обучение с аугментацией нейронной сети с архитектурой MobileNet по базе изображений рельсовых путей «RailSem19» (Zendel О., Murschitz М., Zeilinger М., Steininger D., Abbasi S. and Beleznai C. RailSem19: A dataset for semantic rail scene understanding // Proc. of IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops. Long Beach, 2019. P. 1221-1229) no 20000 изображений (7000 исходных изображений и 13000 результатов аугментации) позволяет с вероятностью не менее 0,91 выделять на изображениях не занятые вагонами участки пути.

Результат распознавания изображений рельсового пути с помощью алгоритма машинного обучения в общем случае содержит участки изображений межрельсового пространства, не отнесенные к классам 1) и 2) распознаваемых нейронной сетью классов априорного алфавита. Для устранения данных участков требуется применение к сформированному после распознавания изображению (фиг. 3) операции морфологического замыкания, которое устраняет небольшие внутренние пустоты и углубления по краям распознанного участка рельсового пути на изображении (фиг. 4).

Если в поле зрения камеры попадают несколько путей, то дополнительно требуется выполнение операции «логическое И» с маской сектора анализа (фиг. 5) для выделения изображения только того пути, по которому движется маневровый тепловоз (фиг. 6).

Далее автоматически выделяют строку изображения, соответствующую окончанию свободного от вагонов межрельсового пространства железнодорожного пути, и определяют в ней пиксельные координаты точек m₁ и m₂ точек контакта рельсов с колесной парой вагона. Когда пиксельные координаты m₁ и m₂ определены, повторяют действия согласно способу прототипа, т.е. переходят к нормированным пиксельным координатам m_1н и m_2н, вычисляют наклонную дальность по формуле (2) и горизонтальную дальность - по формуле (4).

Схема алгоритма, реализующего предлагаемый способ измерения дальности до вагона, приведена на фиг. 7.

Последовательное применение этапов алгоритма (фиг. 7) с маской фиг. 5 к результатам распознавания класса 2) «свободное от вагонов межрельсовое пространство железнодорожного пути» на изображении фиг. 2 приводит к выделению бинарной области, показанной на фиг. 8.

Верхняя срока белого сектора бинарного изображения на фиг. 8 имеет индекс j=326 и однородные пиксельные координаты крайних точек m₁=[949, 326, 1]^T и m₂=[959, 326, 1]^Т. Для камеры с матрицей внутренних параметров

где, например, для Full HD камеры W×H=1920×1080 пикселей - размеры кадра, (с_х, c_у)=(W/2, H/T)=(960, 540) - пиксельные координаты главной точки, нормированные однородные пиксельные координаты крайних точек:

Наклонная дальность, рассчитанная по (2), для ширины пути L=1520 мм=1,52 м:

Для соответствующего фиг. 2 угла установки камеры ϕ_х=22° и искомая дальность согласно (4) равна:

Так как D>100 м, то с учетом скорости маневрового тепловоза, полученное для фиг. 2, значение дальности можно трактовать как движение по незанятому вагонами участку пути, что соответствует действительности.

Изобретение относится к области информационно-измерительных систем и применяется в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования маневрового тепловоза с автоматической системой управления вагон железнодорожного состава. Способ измерения дальности до вагона с помощью видеокамеры основан на распознавании на изображении с помощью алгоритма машинного обучения свободного от вагонов межрельсового пространства железнодорожного пути; применении к полученному бинарному изображению операции морфологического замыкания; автоматическом выделении строки бинарного изображения, соответствующей окончанию свободного от вагонов участка пути, и определению в ней пиксельных координат крайних точек бинарного изображения. Дальнейшее вычисление дальности до вагона заключается в решении уравнений проективной геометрии для априорно известной ширины железнодорожного пути L. Технический результат – повышение точности измерения дальности до вагона в условиях недостаточной видимости или неравномерной освещенности. 8 ил.

Способ измерения дальности до вагона с помощью видеокамеры, заключающийся в формировании видеокамерой цифрового видеоизображения и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, в котором при нахождении на прямолинейном участке железнодорожного пути на видеоизображении выделяют сектор, в пределах которого определяют пиксельные координаты точек m₁ и m₂, соответствующих потенциальным местам контакта рельсов с колесной парой вагона; по данным точкам измеряют наклонную дальность до вагона как отношение априорно известной ширины железнодорожного пути L к длине отрезка m₁m₂, крайние точки которого в плоскости изображения соответствуют потенциальным точкам контакта рельсов M₁ и М₂ с колесной парой вагона; находят горизонтальную дальность до вагона как произведение наклонной дальности на косинус угла между плоскостью горизонта и направлением на середину отрезка М₁М₂ в угломестной плоскости, отличающийся тем, что с помощью алгоритма машинного обучения выполняют распознавание свободного от вагонов межрельсового пространства железнодорожного пути на изображении, для сформированного в результате распознавания бинарного изображения выполняют морфологическое замыкание и затем автоматически выделяют строку изображения, соответствующую окончанию свободного от вагонов межрельсового пространства железнодорожного пути.