СПОСОБ КАЛИБРОВКИ И СИСТЕМА КАЛИБРОВКИ ДЛЯ КАМЕРЫ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТНОГО СРЕДСТВА И ЖЕЛЕЗНОДОРОЖНОЕ ТРАНСПОРТНОЕ СРЕДСТВО, ИМЕЮЩЕЕ КАМЕРУ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТНОГО СРЕДСТВА Российский патент 2021 года по МПК B61L23/04 

Изобретение касается способа калибровки камеры железнодорожного транспортного средства согласно ограничительной части п.1 формулы изобретения, системы калибровки для камеры железнодорожного транспортного средства согласно ограничительной части п.3 формулы изобретения и железнодорожного транспортного средства, имеющего камеру железнодорожного транспортного средства согласно ограничительной части п.7 формулы изобретения.

Железнодорожные транспортные средства, как составная часть современной транспортной инфраструктуры, представляют собой колейные средства сообщения и транспорта, которые передвигаются, например, катясь по или под одним или двумя направляющими рельсами (рельсовыми путями), паря над или под магнитным полем или вися на стальных тросах. Из названных колейных средств сообщения и транспорта наиболее широко распространены рельсовые транспортные средства, которые базируются на колесно-рельсовой системе, которые либо (имеют) собственный привод ходовой части (моторвагон), либо тянутся или перемещаются локомотивом, и у которых преимущественно стальные колеса, имеющие гребень бандажа, направляются по двум стальным рельсам или, соответственно, рельсовым путям.

В будущих системах ассистирования для таких железнодорожных транспортных средств или, соответственно, рельсовых транспортных средств или в автономно движущихся колейных транспортных средствах будут находить применение камеры для распознавания различных объектов и признаков окружения, например, для распознавания сигналов. Когда эти камеры не могут встраиваться всегда в одном и том же месте в транспортном средстве по отношению к колее или, соответственно, рельсам (так, например, слева/справа, вверху/внизу и угол обзора камеры), для снятых изображений получается в каждом случае другая перспектива (сравн. фиг.2 и 3).

Все способы, который основываются на том, что снятые изображения сравниваются с опорными изображениями или должен выбираться только один определенный фрагмент изображения, требуют калибровки камеры, чтобы можно было рассчитывать поправочное значение, которое указывает положение изображений относительно опорных изображений. Это поправочное значение требуется для дальнейших анализов фрагментов изображений или положения объектов на изображении по отношению к опорному изображению.

В настоящее время не известна система для автоматической калибровки камер в колейных транспортных средствах. Правда, фирмой Bosch® AG, согласно ссылке на видео http://videoportal.bosch-presse.de/clip/_/-/-/Bosch-Kollisionswarnsystem für-Stadt-und-Straßenbahnen, предлагается базирующаяся на камере система предупреждения о столкновениях для трамваев, но неизвестно, содержится ли там автоматическая калибровка камеры. Но, предположительно, для показанного случая применения это не требуется.

Лежащая в основе изобретения задача заключается в том, чтобы предложить способ калибровки и систему калибровки для камеры железнодорожного транспортного средства, а также железнодорожное транспортное средство, имеющее камеру железнодорожного транспортного средства, с помощью которого простым и экономичным образом может калиброваться камера железнодорожного транспортного средства.

Эта задача решается, исходя из определенного в ограничительной части п.1 формулы изобретения способа калибровки с помощью признаков, указанных в отличительной части п.1 формулы изобретения.

Помимо этого, задача решается, исходя из определенной в ограничительной части п.3 формулы изобретения системы калибровки с помощью признаков, указанных в отличительной части п.3 формулы изобретения.

Кроме того, задача решается, исходя из определенного в ограничительной части п.7 формулы изобретения железнодорожного транспортного средства, имеющего камеру железнодорожного транспортного средства, с помощью признаков, указанных в отличительной части п.7 формулы изобретения.

Идея, лежащая в основе изобретения в соответствии с независимыми пунктами 1, 3 и 7 формулы изобретения, заключается в том, что

A) из железнодорожного транспортного средства, в частности рельсового транспортного средства, по отношению к находящейся перед железнодорожным транспортным средством области перегона регистрируется и сохраняется в памяти множество представляющих соответствующую область перегона опорных изображений железнодорожного перегона, в частности рельсового перегона,

B) имеются в наличии метаданные о зарегистрированном на изображениях железнодорожном перегоне,

C) камерой железнодорожного транспортного средства регистрируется калибровочное изображение определяемого на основе метаданных участка железнодорожного перегона с прямолинейном ходом колеи, например, ходом рельсов или рельсовых путей;

D) определяется информация, указывающая положение и ориентацию камеры железнодорожного транспортного средства, так называемая поза, относительно колеи на основании хода колеи в калибровочном изображении,

E) на базе соответствующего калибровочному изображению, относящегося к метаданным опорного изображения из указанных опорных изображений на основе информации о позе рассчитывается поправочное значение как значение разности относительно опорного положения на относящемся к метаданным опорном изображении,

F) рассчитанное поправочное значение используется для создания информации для калибровки камеры или интерпретации информации изображения на калибровочном изображении.

По меньшей мере одна смонтированная на железнодорожном или, соответственно, рельсовом транспортном средстве камера непрерывно снимает область перед транспортным средством. Это полностью или частично соответствует перспективе машиниста транспортного средства. Альтернативно или дополнительно другая камера смонтирована так, что из неподвижного, обеспечивающего обзор колеи, положения в или на железнодорожном транспортном средстве непрерывно снимается область перед транспортным средством.

В качестве другого релевантного для изобретения признака для решения проблемы, наряду с указанной по меньшей мере одной камерой, необходимы метаданные о железнодорожном перегоне. А именно, если транспортное средство в соответствии с этими метаданными находится на участке колеи с прямолинейным ходом колеи , то на основании хода колеи на изображении определяется положение и ориентация камеры, так называемая поза, относительно колеи , в частности рельсовых путей. На основе этой информации может рассчитываться поправочное значение для изображения, которое было снято камерой железнодорожного транспортного средства/рельсового транспортного средства или опорной камерой.

Рассчитанное поправочное значение для опорного положения может использоваться для соответствующей интерпретации снятой информации изображения.

Если, например, для обработки изображений на изображении должна рассматриваться только определенная область в зависимости от прохождения колеи (прохождения рельсов или рельсового пути), расчетное поправочное значение может учитываться для точного определения фрагмента изображения.

Путем сравнения прохождения колеи (прохождения рельсов или рельсового пути) на двух изображениях в соответствии с фиг.2 и 3 может делаться заключение о положении подлежащей калибровке камеры.

В расширенном варианте калибровка, то есть расчет значений разности относительно опорного положения, может производиться базирующимся на облаке сервисом, и только информация для калибровки камеры возвращаться в систему камеры.

Преимущество изобретения заключается в том, что после встраивания одной или нескольких камер в железнодорожное транспортное средство не нужна никакая трудоемкая или даже выполняемая вручную калибровка системы камеры.

Способ калибровки может также применяться на различных видах камер, а также при различных характеристиках съемки. Например, могут находить применение камеры, имеющие различные объективы (теле- или широкоугольный объектив).

При этом становится возможной разработка базирующейся на камере системы распознавания, независимо от конкретного изготовителя камеры, и вместе с тем достижение заметного преимущества в издержках, потому что всегда может применяться лучшая или, соответственно, самая экономичная в данный момент камера.

Другие преимущества изобретения следуют из последующего описания одного из примеров осуществления изобретения с помощью фиг.1-3. На них показано:

фиг.1: система калибровки в комбинации с камерой железнодорожного транспортного средства как составная часть железнодорожного транспортного средства, в частности рельсового транспортного средства;

фиг.2: примерное представление опорного изображения, которое было снято из перспективы машиниста транспортного средства;

фиг.3: примерное представление калибровочного изображения, которое, как и изображение на фиг.2, было снято из перспективы машиниста транспортного средства.

На фиг.1 показана система KS калибровки в комбинации с камерой BZFK железнодорожного транспортного средства как составная часть железнодорожного транспортного средства BFZ, в частности рельсового транспортного средства SFZ. Система KS калибровки выполнена предпочтительно в виде базирующейся на облаке системы и содержит запоминающее устройство SPE и анализирующий/вычислительный блок ABE, оба которые для калибровки камеры BZFK железнодорожного транспортного средства соединены с ней.

С помощью камеры BZFK железнодорожного транспортного средства BZFK или, альтернативно, с помощью другой камеры, применяемой в качестве опорной камеры, однако не показанной явно на фиг.1, в соответствии с представлением на фиг.2 из железнодорожного транспортного средства BFZ, SFZ, предпочтительно по меньшей мере из частичной перспективы машиниста FZF транспортного средства и/или из неподвижного, обеспечивающего обзор колеи, положения в или на железнодорожном транспортном средстве BFZ, SFZ, снимается множество представляющих соответствующую область FSB перегона опорных изображений RBI железнодорожного перегона BST, который, например, может быть выполнен в виде рельсового перегона SST. Зарегистрированные опорные изображения RBI сохраняются в запоминающем устройстве SPE системы KS калибровки. В этом запоминающем устройстве SPE сохранены также метаданные MD о зарегистрированном на изображениях железнодорожном перегоне BST, SST. Метаданные представляют собой, в общем и целом, данные, которые, согласно смыслу этого слова, касаются признаков и свойств зарегистрированного на изображениях железнодорожного перегона BST, SST.

Чтобы теперь в соответствии с фиг.3 из железнодорожного транспортного средства BFZ, SFZ, снова предпочтительно по меньшей мере из частичной перспективы машиниста FZF транспортного средства и/или из неподвижного, обеспечивающего обзор колеи, положения в или на железнодорожном транспортном средстве BZF, SFZ с помощью камеры BZFK железнодорожного транспортного средства регистрировать калибровочные изображения участка железнодорожного перегона BST, SST с прямолинейном ходом колеи, например, с прямолинейным ходом рельсов или рельсовых путей, снова в отношении к находящейся перед железнодорожным транспортным средством BFZ, SFZ области FSB перегона, метаданные MD, с помощью которых или на базе которых может определяться участок железнодорожного перегона BST, SST с прямолинейным ходом колеи и загружаются из запоминающего устройства SPE в камеру BFZK железнодорожного транспортного средства. Вследствие этой загрузки метаданных MD в камеру BFZK железнодорожного транспортного средства эта камера регистрирует калибровочное изображение KBI_MD, которое передается в анализирующий/вычислительный блок ABE или загружается в него.

Кроме того, анализирующий/вычислительный блок ABE соединен с запоминающим устройством SPE и образует с ним один функциональный блок FE таким образом, что

- в отношении колеи на основании хода колеи на калибровочном изображении KBI_MD в соответствии с фиг.3 определяется информация, указывающая положение и ориентацию камеры BFZK железнодорожного транспортного средства, так называемая поза,

- анализирующим/вычислительным блоком ABE загружается в анализирующий/вычислительный блок ABE сохраненное в запоминающем устройстве SPE, соответствующее калибровочному изображению KBI_MD, относящееся к метаданным опорное изображение RBI_MD из опорных изображений RBI в соответствии с фиг.2;

- на базе соответствующего калибровочному изображению KBI_MD, относящегося к метаданным опорного изображения RBI_MD на основании информации о позе рассчитывается поправочное значение KW как значение разности относительно опорного положения на относящемся к метаданным опорном изображении RBI_MD, при этом путем сравнения хода колеи на двух изображениях в соответствии с фиг.2 и 3 можно делать заключение о положении подлежащей калибровке камеры;

- на базе рассчитанного поправочного значения KW создается информация KKI для калибровки камеры или может интерпретироваться информация изображения на калибровочном изображении KBI_MD.

Помимо этого, возможно также, чтобы анализирующий/вычислительный блок ABE соединялся с устройством BAV анализа изображений, и рассчитанное поправочное значение KW учитывалось для точного определения фрагмента изображения при осуществляемом в устройстве BAV анализа изображений анализе изображений в железнодорожном или рельсовом сообщении, при этом, например, в ходе базирующегося на колее анализа изображений, который раскрыт в международной заявке на патент PCT/EP2017/081845, для обработки изображений рассматривается определенная область на изображении, снятом с помощью камеры BFZK железнодорожного транспортного средства.

При этом устройство BAV анализа изображений является предпочтительно, как и система KS калибровки в комбинации с камерой BFZK железнодорожного транспортного средства, составной частью железнодорожного транспортного средства BFZ, SFZ.

В техническом решении предлагается, чтобы из рельсового транспортного средства, по отношению к находящейся перед железнодорожным транспортным средством области (FSB) перегона регистрировалось и сохранялось в памяти множество представляющих каждую данную область (FSB) перегона опорных изображений (RBI) железнодорожного перегона (BST), в частности рельсового перегона (SST), Имелись в наличии метаданные (MD) о зарегистрированном на изображениях железнодорожном перегоне (BST, SST). Камерой (BFZK) железнодорожного транспортного средства регистрировалось калибровочное изображение (KBI_MD) определяемого на основе метаданных (MD) участка железнодорожного перегона (BST, SST), с прямолинейным ходом колеи. По отношению к колее на основании хода колеи на калибровочном изображении (KBI_MD) находилась информация, указывающая положение и ориентацию камеры (BFZK) железнодорожного транспортного средства, так называемая поза. На базе соответствующего калибровочному изображению (KBI_MD), относящегося к метаданным опорного изображения (RBI_MD) опорных изображений (RBI) на основе информации о позе рассчитывалось поправочное значение (KW) как значение разности относительно опорного положения на относящемся к метаданным опорном изображении (RBI_MD). Рассчитанное поправочное значение (KW) использовалось для создания информации (KKI) для калибровки камеры или интерпретации информации изображения на калибровочном изображении (KBI_MD). Достигается упрощение калибровки камеры железнодорожного транспортного средства. 3 н. и 4 з.п. ф-лы. 3 ил.

1. Способ калибровки камеры (BFZK) железнодорожного транспортного средства, в котором

a) из железнодорожного транспортного средства (BFZ), в частности рельсового транспортного средства (SFZ), в частности по меньшей мере из частичной перспективы машиниста (FZF) транспортного средства и/или из неподвижного, обеспечивающего обзор колеи положения в или на железнодорожном транспортном средстве (BFZ, SFZ), в отношении к находящейся перед железнодорожным транспортным средством (BFZ, SFZ) области (FSB) перегона, регистрируют и сохраняют множество представляющих соответственно область (FSB) перегона опорных изображений (RBI) железнодорожного перегона (BST), в частности рельсового перегона (SST),

b) имеются в наличии метаданные (MD) о зарегистрированном на изображениях железнодорожном перегоне (BST, SST),

отличающийся тем, что

c) камерой (BFZK) железнодорожного транспортного средства регистрируют калибровочное изображение (KBI_MD) определяемого на основе метаданных (MD) участка железнодорожного перегона (BST, SST) с прямолинейном ходом колеи, в частности с прямолинейным ходом рельсов или рельсовых путей;

d) определяют информацию, указывающую положение и ориентацию камеры (BFZK) железнодорожного транспортного средства, так называемую позу, относительно колеи, в частности рельсов или рельсовых путей, на основании хода колеи на калибровочном изображении (KBI_MD);

e) рассчитывают поправочное значение (KW) как значение разности относительно опорного положения на относящемся к метаданным опорном изображении (RBI_MD), на базе соответствующего калибровочному изображению (KBI_MD), относящегося к метаданным опорного изображения (RBI_MD) из опорных изображений (RBI) на основе информации о позе;

f) рассчитанное поправочное значение (KW) используют для создания информации (KKI) для калибровки камеры или интерпретации информации изображения на калибровочном изображении (KBI_MD).

2. Способ калибровки по п.1, отличающийся тем, что рассчитанное поправочное значение (KW) учитывают для точного определения фрагмента изображения при анализе изображений в железнодорожном сообщении, в частности рельсовом сообщении, при этом, например, в ходе базирующегося на колее анализа изображений для обработки изображений рассматривают определенную область на изображении, снятом с помощью камеры (BFZK) железнодорожного транспортного средства.

3. Система (KS) калибровки для камеры (BFZK) железнодорожного транспортного средства, содержащая

a) запоминающее устройство (SPE), в котором

a1) сохранено множество представляющих соответствующую область (FSB) перегона опорных изображений (RBI) железнодорожного перегона (BST), в частности рельсового перегона (SST), зарегистрированных камерой (BFZK) железнодорожного транспортного средства или опорной камерой, из железнодорожного транспортного средства (BFZ), в частности рельсового транспортного средства (SFZ), в частности по меньшей мере из частичной перспективы машиниста (FZF) транспортного средства и/или из неподвижного, обеспечивающего обзор колеи, положения в или на железнодорожном транспортном средстве (BFZ, SFZ), в отношении к находящейся перед железнодорожным транспортным средством (BFZ, SFZ) области (FSB) перегона,

a2) сохранены метаданные (MD) о зарегистрированном на изображениях железнодорожном перегоне (BST, SST),

отличающаяся

b) анализирующим/вычислительным блоком (ABE),

b1) который выполнен с возможностью соединяться с камерой (BZFK) железнодорожного транспортного средства, чтобы загружать в анализирующий/вычислительный блок (ABE) зарегистрированное камерой (BZFK) железнодорожного транспортного средства калибровочное изображение (KBI_MD) определяемого на основе метаданных (MD) участка железнодорожного перегона (BST, SST) с прямолинейным ходом колеи, в частности с прямолинейным ходом рельсов или рельсовых путей;

b2) который соединен с запоминающим устройством (SPE) и образует при этом с ним функциональный блок (FE) таким образом, что

b21) относительно колеи, в частности рельсов или рельсовых путей, на основании хода колеи на калибровочном изображении (KBI_MD) определяется информация, указывающая положение и ориентацию камеры (BFZK) железнодорожного транспортного средства, так называемая поза,

b22) на базе соответствующего калибровочному изображению (KBI_MD), относящегося к метаданным опорного изображения (RBI_MD) из опорных изображений (RBI) на основании информации о позе рассчитывается поправочное значение (KW) как значение разности относительно опорного положения на относящемся к метаданным опорном изображении (RBI_MD),

b23) рассчитанное поправочное значение (KW) используется для создания информации (KKI) для калибровки камеры или интерпретации информации изображения на калибровочном изображении (KBI_MD).

4. Система (KS) калибровки по п.3, отличающаяся тем, что

анализирующий/вычислительный блок (ABE) соединен с устройством (BAV) анализа изображений таким образом, что рассчитанное поправочное значение (KW) учитывается для точного определения фрагмента изображения при осуществляемом в устройстве (BAV) анализа изображений анализе изображений в железнодорожном сообщении, в частности рельсовом сообщении, при этом, например, в ходе базирующегося на колее анализа изображений для обработки изображений рассматривается определенная область на изображении, снятом с помощью камеры (BFZK) железнодорожного транспортного средства.

5. Система (KS) калибровки по п.3 или 4, отличающаяся тем, что

система (KS) калибровки соединена с камерой (BFZK) железнодорожного транспортного средства.

6. Система (KS) калибровки по п.3 или 4, отличающаяся тем, что

система (KS) калибровки представляет собой базирующуюся на облаке систему.

7. Железнодорожное транспортное средство (BFZ, SFZ), содержащее камеру (BFZK) железнодорожного транспортного средства, отличающееся тем, что

в железнодорожное транспортное средство (BFZ, SFZ) интегрирована система (KS) калибровки по любому из пп.3-5.