Способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути Российский патент 2020 года по МПК G01C3/00 

Описание патента на изобретение RU2729512C1

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования вагон железнодорожного состава, при этом оценивается расстояние от него до маневрового тепловоза с автоматической системой управления с целью минимизации времени, затрачиваемого на торможение при приближении к составу до момента сцепки с ним.

Из уровня техники известны маневровый тепловоз и способ его эксплуатации без машиниста (патент RU 2630859, опубликовано 13.09.2017, МПК: B60L 11/02 (2006.01), B61L 23/34 (2006.01), B61L 27/04 (2006.01), G01S 13/94 (2006.01), В61С 5/00 (2006.01)), в котором выполняется измерение дальности до ближайшего по ходу движения маневрового тепловоза вагона. При этом на торцевых сторонах маневрового тепловоза расположены дальномеры бесконтактного действия, связанные с устройством управления, которое подключено к блоку возбуждения тягового генератора и предусмотрено для управления скоростью движения. Указанные дальномеры бесконтактного действия установлены на уровне автосцепки, и их плоскость считывания расположена параллельно плоскости рельсового пути, при этом линия считывания формируется пересечением плоскости считывания и плоскости расположения автосцепки ближайшего по ходу движения вагона, перпендикулярной плоскости пути. Согласно описанию способа, в качестве дальномеров бесконтактного действия могут быть применены ультразвуковые или лазерные дальномеры.

К недостаткам применяемых согласно указанному способу ультразвуковых дальномеров следует отнести сравнительно малую дальность действия (до 10 м), а также влияние на абсолютную погрешность измерений скорости ветра.

К недостаткам лазерных дальномеров следует отнести наличие интенсивной фоновой помехи от солнца при его расположении вблизи горизонта.

По причине интенсивной фоновой помехи также не является целесообразным применение радиолокационного дальномера, поскольку на железной дороге имеется большое количество отражателей, являющихся источниками пассивных помех (Бакулев П.А., Степин В.М. Методы и устройства селекции движущихся целей. М.: Радио и связь, 1986. 288 с.) - переотражений радиоизлучения от рельсового пути, проводов и опор контактной сети, а также расположенных на соседних путях вагонов.

Альтернативой активным способам измерения дальности до объекта, предполагающим облучение объекта источником внешнего излучения, являются пассивные, основанные, например, на анализе изображения объекта в оптическом диапазоне видимых длин волн.

Из уровня техники известен способ определения расстояния до объекта при помощи камеры (варианты) (патент RU 2602729, опубликовано 10.04.2016, МПК: G01C 11/36 (2006.01), G01C 3/08 (2006.01)), в котором при известных калибровочных характеристиках цифровой камеры (коэффициентах радиальной дисторсии ее объектива, а также матрице внутренних параметров К, содержащей выраженные соответственно в единицах длины и ширины пикселей фокусные расстояния и координаты главной точки) получают один кадр, выделяют на нем объект и измеряют расстояние до него на основании метрических и угловых размеров объекта. При этом расстояние до объекта г определяют по формуле:

r=0,5M/tg(0,5α),

где М и α - линейный и угловой размеры объекта соответственно. Предполагается, что линейный размер М известен априорно, а угловой размер α может быть вычислен по крайним пикселям изображения объекта. Если однородные координаты этих пикселей m1=[х1, у1, 1]T и m2=[x2, y2, 1]T (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.), то угловой размер:

где «•» - знак скалярного произведения, «Т» - знак транспонирования, «||m||» - два-норма вектора ||m||.

Недостатком способа является то, что измерение дальности по (1) не учитывает ракурса наблюдения объекта съемки, поэтому абсолютная погрешность будет мала только в том случае, если плоскость, в которой расположен объект съемки, параллельна плоскости сенсора камеры, то есть проективные искажения отсутствуют.

Указанного недостатка лишен способ измерения расстояния на цифровой видеокамере с помощью мишени (патент RU 2655467, опубликовано 28.05.2018, МПК: G01C 3/06 (2006.01)), по совокупности признаков выбранный в качестве прототипа. Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t вычисляется расстояние до объекта по формуле:

где F - фокусное расстояние объектива видеокамеры;

R - физический размер радиуса мишени;

rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;

pix - физический размер пикселя видеоизображения (на матрице камеры).

Недостатком способа является необходимость установки мишени на объекте, дальность до которого необходимо измерить.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в отсутствии пассивного способа измерения дальности до ближайшего по ходу движения маневрового тепловоза вагона, не требующего для своей реализации дополнительной установки на вагон мишени или иных реперных устройств.

Технический результат изобретения заключается в оценивании дальности до вагона косвенным методом - путем автоматического измерения на изображении ширины железнодорожной колеи в месте ее контакта с колесной парой.

Технический результат достигается тем, что на бинаризованном контурном препарате изображения Iбин с помощью преобразования Хафа или Радона (Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.) выделяется N≥2 прямых линий. При этом для уменьшения объема вычислений выделение контуров в кадре выполняется только в секторе, где априорно будет находиться проекция железнодорожной колеи на плоскость изображения при прямолинейном рельсовом пути (например, центральная часть изображения). Определить, является ли участок рельсового пути, на котором находится маневровый тепловоз, прямолинейным или нет, позволяет, например, применение спутниковых радионавигационных систем (патент DE 19632958, опубликовано 29.01.1998, МПК: B61K 3/02).

Из найденных N прямых линий далее отбираются только те две из них, которые могут принадлежать железнодорожной колее. Критерием отбора выделенных прямых линий при их параметрическом представлении

с признаками (ρi, θi), i=1, 2…, N, (ρ и θ - параметры преобразований Хафа и Радона: ρ - длина перпендикуляра, восстановленного до прямой из начала системы координат изображения, θ - угол между прямой и осью X системы координат изображения) в пространстве параметров (ρ, θ) выступают неравенства:

где i, j=1, 2, …N, i≠j, θmin и θmax - априорно задаваемые пороговые значения возможного значения угла между линиями, соответствующими изображениям рельсов, a dmin и dmax - априорно задаваемые пороговые значения длины отрезка между линиями (ρi θi) и (ρJ, θi), лежащего на прямой, соответствующей нижней строке кадра. Точки Mнижнi и Mнижнi определяют пиксельные координаты пересечения нижней строки с линиями (ρi, θi) и (ρj, θi) соответственно.

Численные значения параметров θm;n, θmax dmin и dmax зависят от фокусного расстояния камеры, высоты ее установки на маневровом тепловозе и угла места ее линии визирования.

Начало координат системы Оху, в которой определяются координаты (х, у) пикселей изображения, располагается в верхнем левом углу изображения, координатная ось х направлена вправо, координатная ось у - вниз (Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: учеб. пособие. Новосибирск: Изд-во НГТУ, 2002. 352 с.).

Когда две прямые определены, на бинарном изображении Iбин оставляют единичные значения только для тех пискелей, которые принадлежат прямым (ρ1, θ1) и (ρ2, θ2), а все остальные заменяют нулевыми. Тем самым получают бинарное изображение I*бин.

Для пикселей бинарного изображения I*бин выполняется операция морфологической дилатации со структурирующим элементом размерности пикселей для исключения разрывов в контурном препарате длиной в пикселей соответственно, где - операция округления до ближайшего меньшего целого. Рекомендуемое значение параметра - 3 или 5.

На сформированном в результате дилатации бинарном изображении Iдил последовательно, от нижней строки изображения к верхней, выполняется поиск пересечения с контурным препаратом прямой

где Н - высота изображения в пикселях, а ух - координата у точки пересечения прямых (ρ1, θ1) и (ρ2, θ2). При этом находят координаты m1i=[хлевi, i, 1]T и m2i=[xправi, i, 1]T пересечения прямой с линиями контурного препарата бинарного изображения Iдил, соответствующих изображениям левого и правого рельсов пути.

Параметрическое представление семейства прямых (5):

y=ρi,

так как для них выполняется условие θi=90°.

Для определения положения ближайшего по пути следования вагона в кадре с видеокамеры применяют критерий обнаружения «k из n» (Кузьмин С.З. Основы проектирования систем цифровой обработки радиолокационной информации. М.: Радио и связь, 1986. 352 с.): если начиная с некоторого у=yv в течение n строк подряд точки пересечения прямых (5) с двумя выделенными прямыми контурного препарата Iдил отсутствуют в k строках, принимается решение о том, что в строке изображения с номером yv находятся точки m1v=[xлевv, yv, 1]T и m2v=[xправv, yv, 1]T контакта железнодорожной колеи с колесной парой вагона, а расстояние в пикселях Δх=хправv-xлевv между ними соответствует физической ширине железнодорожной колеи Lкол=1525 мм.

При этом k и n должны быть достаточно велики: например, k=15, n=20.

Если же по мере уменьшения у вплоть до ух разрывы в контурном препарате отсутствуют (железнодорожный путь свободен), то при достижении значения ух выдается качественный признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО».

По измеренным пиксельным координатам m1v и m2v и информации об угле места линии визирования камеры, которая может быть получена, например, по данным от трехосного микроэлектромеханического инерциального измерительного модуля, найти расстояние до вагона можно путем решения задачи Perspective-2-Point, или, сокращенно, Р2Р (Kukelova Z., Bujnak М., Pajdla Т. Closed-form solutions to the minimal absolute pose problems with known vertical direction // ACCV'10: Proc. Of the 10th Asian conference on Computer vision. Part II. Queenstown. 2010. P. 216-229).

Введем систему координат такую, что ее начало располагается в точке М1 с пространственными координатами M1=[0, 0, 0]T, которой соответствует точка m1v в плоскости изображения, ось X направлена вправо и коллинеарна вектору где М2 - точка с пространственными координатами М2=[Lкол, 0, 0]T, которой соответствует точка m1v в плоскости изображения, ось Y направлена вниз, а ось Z дополняет систему координат до правосторонней (фиг. 1).

Решением задачи Р2Р:

где R=RzRxRy и t - соответственно матрица поворота и вектор параллельного переноса системы координат камеры относительно системы координат M1XYZ, являются угол поворота относительно оси Y и вектор t=[tx, ty, tz]T. Матрицы поворота Rx и Rz вокруг координатных осей X и Z соответственно оцениваются по сигналам инерциального измерительного модуля. Из фиг. 1 следует, что величина |tz| является проекцией наклонной дальности от камеры до вагона |M1M12| на плоскость рельсового пути, где точка М12 является серединой отрезка M1M2 с однородными пространственными координатами M12=(M12)/2.

Для определения расстояния от маневрового тепловоза до вагона r требуется коррекция измерений на поправку Δr, которая учитывает расстояние от автосцепки до оптического центра камеры:

Решение задачи Р2Р предполагает, что камера предварительно откалибрована, т.е. оценены коэффициенты дисторсии ее объектива и матрица внутренних параметров K, а также выполнена взаимная калибровка камеры и инерциального измерительного модуля (например, по патенту US 10061382, опубликовано 28.08.2018, МПК: G01C 21/165, G01C 25/005, G06F 3/017) для учета неколлинеарности осей их систем координат.

Поскольку при большом удалении от маневрового тепловоза разрыв контура изображения рельсового пути будет наблюдаться и при отсутствии на пути следования вагонов, то признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО» целесообразно выдавать и в случае, если измеренное расстояние r велико и превышает некоторый порог rmax.

Для уменьшения влияния контрового света при съемке в направлении на солнце, находящееся вблизи линии горизонта, целесообразно задавать отрицательный угол места линии визирования камеры.

Для выделения контуров рельсового пути при съемке в контровом свете и условиях недостаточной видимости выполняются коррекция темных тонов и высокочастотная коррекция изображения с камеры (Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.; Визильтер Ю.В. Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.).

Для уменьшения флуктуаций измерений дальности, получаемых в результате решения задачи Р2Р, используется их фильтрация: например, калмановская (при наличии информации о скорости движения маневрового теплового) или медианная.

Если по данным спутниковой радионавигационной системы маневровый тепловоз находится не на прямолинейном участке пути, выдается признак «ИЗМЕРЕНИЕ НЕ ВЫПОЛНЯЕТСЯ».

Схема алгоритма, реализующего способ косвенного измерения дальности от маневрового тепловоза до ближайшего по ходу следования вагона, приведена на фиг. 2.

Работу алгоритма поясняют фиг. 3, 5, 7, 9, 11 (отсутствие на путях вагона) и фиг. 4, 6, 8, 10, 12 (наличие на путях вагона).

На фиг. 3 и 4 приведено формируемое камерой изображение размером 1280×720 пикселей.

На фиг. 5 и 6 выделен сектор с вершинами (400, 719), (600, 200), (680, 200) и (880, 719), в котором далее анализируется контурный препарат.

На фиг. 7 и 8 приведен негатив контурного препарата в выделенном секторе (бинаризованное изображение Iбин, негатив), который сформирован в результате применения оператора выделения контуров с применением маски Собела и процедуры автоматического выбора порога бинаризации на основе анализа гистограммы (Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.).

На фиг. 9 и 10 приведены выделенные в результате применения соответственно к изображениям фиг. 7 и 8 преобразования Хафа N=4 прямых линий с параметрами (ρ, θ):

для фиг. 9 - (487, 159°), (669, 9°), (686, 17°), (384, 148°);

для фиг. 10 - (448, 157°), (622, 0°), (693, 28°), (305, 143°).

Прямые линии, оставшиеся после проверки условий (4):

для фиг. 9 - (ρ1, θ1)=(487, 159°) и (ρ2, θ2)=(669, 9°)

при θmin=27°, θmax=33°, ρmin=210 и ρmax=240;

для фиг. 10 - (ρ1, θ1)=(448, 157°) и (ρ2, θ2)=(622, 0°)

при θmin=19°, θmax=25°, ρmin=155 и ρmax=185.

На фиг. 11 и 12 приведены негативы результатов морфологической дилатации с размером структурирующего элемента 3×3 для пикселей контурного препарата фиг. 7 и фиг. 8 соответственно, принадлежащих линиям (ρ1, θ1) и (ρ2, θ2).

Однородные пиксельные координаты точек m1v и m2v в месте разрыва контурных линий по критерию «15 из 20»:

для фиг. 11 - m1v=[629, 305, 1]T, m2v=[638, 305, 1]T;

для фиг. 12 - m1v=[622, 363, 1]T, m2v=[640, 363, 1]T.

Оценки дальности, вычисленные в результате решения задачи Р2Р (6) при матрице внутренних параметров камеры угле места ее линии визирования β = -5°, поправке Δr=0, rmax=100 м и ширине железнодорожной колеи Lкол=1525 мм:

для фиг. 11 - r=127,09 м, выдается признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО»,

для фиг. 12 - r=63,61 м.

Похожие патенты RU2729512C1

название год авторы номер документа
Способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути 2020
  • Кудинов Игорь Алексеевич
  • Холопов Иван Сергеевич
RU2750364C1
Способ измерения дальности до вагона на прямолинейном участке железнодорожного пути 2021
  • Кудинов Игорь Алексеевич
  • Холопов Иван Сергеевич
RU2769453C1
Способ измерения дальности до вагона с помощью видеокамеры 2023
  • Кудинов Игорь Алексеевич
  • Никифоров Михаил Борисович
  • Холопов Иван Сергеевич
RU2811525C1
Способ измерения дальности от маневрового тепловоза до вагона с помощью лазерного триангуляционного дальномера 2023
  • Холопов Иван Сергеевич
RU2799481C1
Устройство определения параметров узлов подвижного состава 2016
  • Долгий Александр Игоревич
  • Хатламаджиян Агоп Ервандович
  • Кудюкин Владимир Валерьевич
  • Шаповалов Василий Витальевич
RU2668774C2
СОВМЕЩЕНИЕ ИГРОВОГО ПОЛЯ НА ОСНОВЕ МОДЕЛИ 2011
  • Тун Сяофэн
  • Ли Вэньлун
  • Чжан Иминь
RU2480832C2
СПОСОБ ДИАГНОСТИКИ МЕЛАНОМЫ КОЖИ 2021
  • Никитаев Валентин Григорьевич
  • Нагорнов Олег Викторович
  • Проничев Александр Николаевич
  • Тамразова Ольга Борисовна
  • Сергеев Василий Юрьевич
  • Сергеев Юрий Юрьевич
  • Сельчук Владимир Юрьевич
  • Дмитриева Валентина Викторовна
  • Отченашенко Александр Иванович
  • Зайцев Сергей Михайлович
  • Дружинина Екатерина Александровна
  • Козырева Александра Вячеславовна
  • Соломатин Михаил Андреевич
  • Козлов Владимир Сергеевич
  • Будадин Олег Николаевич
RU2780367C1
Способ детекции протяженных линейных объектов на изображении 2022
  • Панфилова Екатерина Игоревна
  • Григорьев Антон Сергеевич
  • Кибалов Владислав Игоревич
  • Чеканов Михаил Олегович
  • Шипитько Олег Сергеевич
  • Большаков Андрей Сергеевич
RU2802991C1
Способ распознавания объектов на изображении 2018
  • Тупиков Владимир Алексеевич
  • Павлова Валерия Анатольевна
  • Созинова Мария Владимировна
  • Крюков Сергей Николаевич
  • Каплинский Глеб Эдуардович
  • Бондаренко Владимир Александрович
  • Миронов Дмитрий Васильевич
RU2693267C1
СПОСОБ ОБРАБОТКИ СИГНАЛОВ ДЛЯ ОБНАРУЖЕНИЯ И ОПРЕДЕЛЕНИЯ ТОЛЩИНЫ ПРЯМЫХ ЛИНИЙ НА ИЗОБРАЖЕНИИ 2016
  • Алпатов Борис Алексеевич
  • Бабаян Павел Вартанович
  • Шубин Никита Юрьевич
RU2651176C1

Иллюстрации к изобретению RU 2 729 512 C1

Реферат патента 2020 года Способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Заявленный способ косвенного измерения дальности от маневрового тепловоза до вагона заключается в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, определенным по контурному препарату видеоизображения. При нахождении маневрового тепловоза на прямолинейном участке пути на видеоизображении выделяют сектор, в пределах которого формируют конкурный препарат вертикальных линий; на контурном препарате с применением преобразования Хафа или Радона выделяют N≥2 прямых линий. После анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию и определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона. Решают задачу Perspective-2-Point, где известным линейным размером выступает ширина железнодорожной колеи Lкол, и вносят поправку на расстояния между крайней точкой автосцепки маневрового тепловоза и оптическим центром камеры. Технический результат - оценивание дальности до вагона косвенным методом - путем автоматического измерения на изображении ширины железнодорожной колеи в месте ее контакта с колесной парой. 2 з.п. ф-лы, 12 ил.

Формула изобретения RU 2 729 512 C1

1. Способ косвенного измерения дальности от маневрового тепловоза до вагона, заключающийся в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, определенным по контурному препарату видеоизображения, отличающийся тем, что при нахождении маневрового тепловоза на прямолинейном участке пути на видеоизображении выделяют сектор, в пределах которого формируют контурный препарат вертикальных линий; на контурном препарате с применением преобразования Хафа или Радона выделяют N≥2 прямых линий; после анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз; для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона; решают задачу Perspective-2-Point, где известным линейным размером выступает ширина железнодорожной колеи Lкол, и вносят поправку на расстояния между крайней точкой автосцепки маневрового тепловоза и оптическим центром камеры.

2. Способ по п. 1, отличающийся тем, что для видеоизображения выполняют коррекцию темных тонов и высокочастотную коррекцию.

3. Способ по п. 1, отличающийся тем, что для уменьшения флуктуаций косвенно измеряемой дальности выполняют калмановскую или медианную фильтрацию.

Документы, цитированные в отчете о поиске Патент 2020 года RU2729512C1

СПОСОБ КОНТРОЛЯ ПОПЕРЕЧНОГО ПРОФИЛЯ И РАССТОЯНИЯ МЕЖДУ РЕЛЬСАМИ ЖЕЛЕЗНОДОРОЖНОГО ПУТИ И ВАГОН-ПУТЕИЗМЕРИТЕЛЬ 2010
  • Болотин Николай Борисович
  • Носырев Дмитрий Яковлевич
RU2418705C1
Устройство для определения расстояния до препятствия от локомотива 1982
  • Ерохин Юрий Александрович
SU1137001A1
СПОСОБ ОПРЕДЕЛЕНИЯ РАССТОЯНИЯ ДО ОБЪЕКТА ПРИ ПОМОЩИ КАМЕРЫ (ВАРИАНТЫ) 2014
  • Шишалов Иван Сергеевич
  • Погорский Николай Владимирович
  • Филимонов Андрей Викторович
  • Громазин Олег Андреевич
RU2602729C2
DE 19632958 C1, 29.01.1998
US 10061382 B2, 28.08.2018
US 20010046310 A1, 29.11.2001.

RU 2 729 512 C1

Авторы

Кудинов Игорь Алексеевич

Холопов Иван Сергеевич

Даты

2020-08-07Публикация

2019-12-09Подача