Бортовая система технического зрения рельсового транспортного средства Российский патент 2023 года по МПК B61L25/00 

Изобретение относится к электронным системам железнодорожных транспортных средств и может быть использовано для обнаружения железнодорожных светофоров и их показаний, стрелочных переводов и их положения, препятствий на пути движения железнодорожного транспортного средства.

Известен блок обнаружения препятствий на пути движения рельсового транспортного средства в составе бортовой информационной системы, содержащий блок датчиков технического зрения, включающий модуль первичной обработки данных, к которому подключены, по крайней мере, одна видеокамера, один лидар и один тепловизор, вычислительный блок, состоящий из вычислителя с подключенными к нему модулем комплексирования данных, нейросетью и блоком памяти, при этом вход вычислительного блока соединен с выходом модуля первичной обработки данных, а выход - через блок принятия решений с высокоскоростным CAN-E - интерфейсом (RU 2742960 C1, B61L 25/02, 12.02.2021).

Недостатком известного устройства обнаружения препятствий является высокая стоимость, связанная с избыточным числом используемых сенсоров и, как следствие, повышенными требованиями к вычислительным комплексам и программному обеспечению, связанными с необходимостью комплексирования данных, получаемых от различных групп сенсоров.

Технический результат предлагаемого изобретения заключается в повышении надёжности заблаговременного обнаружения потенциальных опасностей и обеспечении автоматического торможения в случае отсутствия реакции машиниста на предупреждения об опасных объектах на пути следования транспортного средства.

Технический результат достигается тем, что бортовая система технического зрения рельсового транспортного средства содержит группу видеокамер ближнего и дальнего обзора, размещенную на крыше локомотива в переднем свесе, модуль вычислительный, модуль управления, выходами через соответствующие реле подключенный к клапану управления тифона, к клапану управления свистка, к электропневматическому клапану и к приставке электропневматического клапана машиниста, и сенсорный монитор, установленный в кабине управления локомотивом, при этом выходы видеокамер по сети Ethernet подключены к соответствующим входам модуля вычислительного, выход которого посредством CAN шины соединен с входом модуля управления, вход - с выходом скоростемера локомотива, а вход/выход соединен с выходом/входом сенсорного монитора, причем программное обеспечение модуля вычислительного выполнено на основе нейросети глубокого обучения для обнаружения светофора с запрещающим показанием, стрелочного перевода в запрещённом положении, препятствия или человека в опасной зоне с последующим вычислением оптимального режима торможения локомотива.

Для маневрового локомотива бортовая система технического зрения дополнительно включает вторую группу видеокамер ближнего и дальнего обзора, расположенную на крыше локомотива в заднем свесе, выходы видеокамер по сети Ethernet подключены к соответствующим входам модуля вычислительного.

Сущность изобретения поясняется чертежом, на котором представлена структурная схема предлагаемой бортовой системы технического зрения.

Бортовая система технического зрения рельсового транспортного средства содержит группу видеокамер 1 ближнего и дальнего обзора, видеокамеры 1 размещены на крыше локомотива попарно в переднем и заднем свесе, модуль 2 вычислительный, модуль 3 управления, выходами через соответствующие реле (на чертеже не показаны) подключенный к клапану управления тифона (КУТ), к клапану управления свистка (КУС), к электропневматическому клапану (ЭКП) и к приставке электропневматического клапана машиниста (ПЭКМ-475), сенсорный монитор 4, установленный в кабине управления локомотивом, при этом выходы видеокамер 1 по сети Ethernet подключены к соответствующим входам модуля 2 вычислительного, выход которого посредством CAN шины соединен с входом модуля 3 управления, вход - с выходом скоростемера локомотива, а вход/выход по интерфейсу HDMI соединен с выходом/входом сенсорного монитора 4.

Программное обеспечение модуля 2 вычислительного выполнено на основе нейросетей глубокого обучения для обнаружения светофора с запрещающим показанием, стрелочного перевода в запрещённом положении, препятствия или человека в опасной зоне.

В качестве скоростемера используют электронный скоростемер.

Бортовая система технического зрения рельсового транспортного средства функционирует следующим образом.

Видеокамеры 1 в режиме реального времени непрерывно формируют видеопоток в ближней (0-50 м) и дальней (25-200 м) зонах видимости, который поступает на вход модуля 2 вычислительного.

Модуль 2 вычислительный на основе нейросети глубокого обучения обрабатывает видеоинформацию, получаемую от видеокамер, формирует фоновую модель (сцену) пути, по которому движется транспортное средство, и направляет ее в сенсорный монитор 4 для отображения на его экране.

При обнаружении светофора с запрещающим показанием и/или пошёрстной стрелки в запрещённом положении (опасность взреза) и/или- препятствие или человек в опасной зоне модуль 2 вычислительный сопоставляет их изображение с фоновой моделью пути, определяет расстояние транспортного средства до обнаруженного опасного объекта и на основании информации о скорости и ускорения движения транспортного средства по данным от скоростемера строит тормозную кривую.

При этом на экране сенсорного монитора 4 модуль 2 отображает положение обнаруженного опасного объекта и выводит предупреждение с указанием опасного объекта. Кроме того, модуль 2 передает соответствующую команду модулю 3 управления, который через соответствующее реле включает свисток в кабине машиниста. Машинист, получив информацию об обнаруженном опасном объекте, с помощью сенсорного монитора 4 направляет в модуль 2 соответствующее уведомление для подтверждения бдительности и принятия им самостоятельного решения о торможении.

При обнаружении на пути следования препятствий типа «человек» или «автомобиль» модуль 2 вычислительный формирует команду модулю 3 управления на включение тифона.

При отсутствии действий машиниста модуль 2 вычислительный направляет в модуль 3 управления данные о тормозной кривой, на основании которых путем взаимодействия через электропневматическую приставку крана машиниста на тормозную систему поезда модуль 3 управления обеспечивает замедление, необходимое для остановки транспортного средства до попадания в опасную зону.

Причем в случае экстренного торможения модуль 3 управления через соответствующее реле осуществляет управление электропневматическим клапаном.

У машиниста остаётся возможность в ручном режиме отменить автоматическое торможение в случае устранения опасности или при ложноположительном срабатывании системы нажатием виртуальной кнопки на сенсорном мониторе 4.

В качестве основной технологии обработки видеоинформации в модуле 2 вычислительном используется новейшие архитектуры нейронных сетей в задачах сегментации, локализации и классификации. Эти архитектуры занимают лучшие места в соревнованиях, хорошо масштабируются для различных задач и имеют отличное быстродействие при использование современных решений, таких как NVIDIA TensorRT (1).

NVIDIA TensorRT - это набор инструментов для высокопроизводительного прохода по нейронной сети, включающий оптимизатор вывода с использованием глубокого обучения и среду выполнения, которая обеспечивает низкую задержку и высокую пропускную способность для приложений.

Для задач локализации используется архитектура YOLO (2). Она превосходит другие локализаторы объектов как по скорости, так и по точности в диапазоне от 5 до 160 кадров в секунду. Данная архитектура имеет особую предсказательную модель, на основе которой изображение разбивается на независимые блоки и выполняется предсказание о наличии объектов в каждом этом блоке. На выходе для получения результата анализа всего изображения результат обрабатывается алгоритмом немаксимального подавления (3). По итогу поиск объектов на кадре занимает меньше, чем 60 миллисекунд и дает девяностопроцентный результат точности.

Для решения задач классификации применяется та же архитектура, что и для локализации. Единственное отличие в последнем слое нейронной сети, который предсказывает класс изображения вместо того, чтобы локализировать объекты.

Для понимания фоновой модели (сцены) используется семантический сегментатор. Его основой выбрана архитектура U-Net, особенность которой состоит в том, что данные внутри сначала сжимаются, как и в обычной сверточной нейронной сети, а затем расширяются (4). Каждый шаг на пути расширения состоит из повышения частоты дискретизации карты признаков, за которой следует свертка, которая делит вдвое количество функциональных каналов, следом идет конкатенация с соответствующим обрезанной картой признаков.

Применение совокупности перечисленных архитектур позволяет создать надежную систему распознавания, превышающую скорость человеческой реакции.

(1) https://developer.nvidia.com/tensorrt

(2) https://arxiv.org/abs/1506.02640

(3) https://arxiv.org/abs/1704.04503

(4) https://arxiv.org/abs/1505.04597v1

Изобретение относится к средствам управления и обнаружения объектов на пути движения железнодорожного подвижного состава. Система содержит группу видеокамер ближнего и дальнего обзора, размещенную на крыше локомотива в переднем свесе, модуль вычислительный, модуль управления, выходами через соответствующие реле подключенный к клапану управления тифона, к клапану управления свистка, к электропневматическому клапану и к приставке электропневматического клапана машиниста, и сенсорный монитор, установленный в кабине управления локомотивом. Выходы видеокамер по сети Ethernet подключены к соответствующим входам модуля вычислительного, выход которого посредством CAN шины соединен с входом модуля управления, вход - с выходом скоростемера локомотива, а вход/выход соединен с выходом/входом сенсорного монитора. Достигается повышение надёжности обнаружения объектов на пути движения с возможностью автоматического торможения в случае отсутствия реакции машиниста. 1 з.п. ф-лы, 1 ил.

1. Бортовая система технического зрения рельсового транспортного средства, характеризующаяся тем, что содержит группу видеокамер ближнего и дальнего обзора, размещенную на крыше локомотива в переднем свесе, модуль вычислительный, модуль управления, выходами через соответствующие реле подключенный к клапану управления тифона, к клапану управления свистка, к электропневматическому клапану и к приставке электропневматического клапана машиниста, и сенсорный монитор, установленный в кабине управления локомотивом, при этом выходы видеокамер по сети Ethernet подключены к соответствующим входам модуля вычислительного, выход которого посредством CAN шины соединен с входом модуля управления, вход - с выходом скоростемера локомотива, а вход/выход соединен с выходом/входом сенсорного монитора, причем программное обеспечение модуля вычислительного выполнено на основе нейросети глубокого обучения для обнаружения светофора с запрещающим показанием, стрелочного перевода в запрещённом положении, препятствия или человека в опасной зоне с последующим вычислением оптимального режима торможения локомотива.

2. Бортовая система по п. 1, отличающаяся тем, что дополнительно включает вторую группу видеокамер ближнего и дальнего обзора, расположенную на крыше локомотива в заднем свесе, выходы видеокамер по сети Ethernet подключены к соответствующим входам модуля вычислительного.