Способ автоматизированного предрейсового технического осмотра транспортных средств Российский патент 2025 года по МПК G07C5/08 

Область техники

Изобретение относится к области пассажирских и грузовых автомобильных перевозок.

Уровень техники

Известен комплекс и способ для дистанционного предрейсового прохождения осмотра и формирования путевого листа (патент РФ 2746667, опубл. 19.04.2021), состоящий из модуля для диагностики водителя, модуля для диагностики автотранспортного средства, устройства для печати путевого листа; каждый модуль снабжен портами приема/передачи данных и выполнен с возможностью подключения устройства для печати, при этом модуль для диагностики водителя снабжен медицинскими устройствами; при этом модуль для диагностики автотранспортного средства выполнен с возможностью подключения к CAN - шине или тахографу; при этом каждый модуль содержит программное обеспечение для синхронизации частей комплекса и выполнен с возможностью соединения по защищенному каналу связи с сервером для передачи полученных зашифрованных данных.

Известно устройство бортового контроля технического состояния транспортного средства (патент РФ 2631750, опубл. 26.09.2017), содержащее блок съема визуальной информации, блок съема акустической информации, датчик скорости, блок датчиков контроля параметров технического состояния двигателя, блок предварительной обработки сигналов, аналого-цифровой преобразователь, таймер, блок памяти, подблок прогноза состояния , подблок данных о допустимых номинальных и предельных значениях параметров, подблок значений параметров технического состояния ТС, блок предварительной обработки цифровой информации, блок передачи информации по радиоканалу, зуммер и блок блокировки транспортного средства.

Недостатком известных решений является невысокий уровень автоматизации при проведении предрейсового технического осмотра транспортных средств.

Раскрытие сущности изобретения

Техническим результатом изобретения является возможность использования достоверных данных, технического состояния транспортного средства (ТС), полученных через бортовой диагностический терминал и оценки исправности узла ТС на основании данных нейросети, а также повышение качества проверки технического состояния транспортных средств выпускаемых на линию за счет достоверных неизменяемых параметров, получаемых от бортового диагностического терминала, которые могут быть недоступны проверяющему сотруднику при стандартном методе визуального осмотра ТС и за счет фото-фиксации узлов и агрегатов на основе которых формируется оценка нейросети о исправности, что исключает факты выпуска на линию ТС с видимыми механическими и техническими повреждениями с которыми допуск на линию ТС запрещен.

Заявленный технический результат достигается при использовании способа автоматизированного предрейсового технического осмотра транспортных средств содержащего прием данных с датчиков параметров транспортного средства, причем информация с датчиков сравнивается с эталонными данными транспортного средства, установку диагностического терминала на транспортное средство, проверку установки диагностического оборудования на транспортное средство, авторизацию пользователя в мобильном приложении технического осмотра, передачу данных, содержащих фотографию транспортного средства, на нейросетевой классификатор сервера, проверку поступления данных на сервер, получение бортовым диагностическим терминалом данных о наличии ошибок в работе бортовых систем, передачу бортовым диагностическим терминалом на блок приема телематических данных сервера данных о параметрах состояния бортовых систем, проверку корректности записи на сервер данных о параметрах состояния бортовых систем, обработку фото в нейросетевом классификаторе, обработку блоком оценки данных сервера результата запроса состояния бортовых систем для детекции неисправности, передачу результата обработки фото через веб-интерфейс пользователям и регистрацию результатов.

Метод автоматизированного предрейсового технического осмотра позволяет:

• Осуществлять весь цикл работы по контролю технического состояния автотранспортных средств через мобильное приложение, исключив бумажный документооборот;

• Получать и применять к результату технического осмотра ТС достоверные диагностические данные исправности бортовых систем транспортного средства через бортовой диагностический терминал Tetron AE модификации ADV, PRO и АСН;

• Получать и применять к результату технического осмотра ТС оценку нейросети в части исправности узла транспортного средства на основании фотоматериала, полученного из мобильного приложения.

Основная задача заключается в организации единого пространства работы при проведении технического осмотра автотранспортных средств водителем и ответственным сотрудником за проведение предрейсового технического осмотра и выпуска ТС на линию и в использовании достоверных данных, технического состояния транспортного средства полученных через бортовой диагностический терминал и оценки исправности узла ТС на основании данных нейросети.

Краткое описание чертежей

На фиг. 1а представлена блок-схема алгоритма автоматизированного предрейсового технического осмотра ТС (начало).

На фиг. 1б представлена блок-схема алгоритма автоматизированного предрейсового технического осмотра ТС (завершение).

Блок-схема алгоритма содержит этап 1 установки диагностического терминала на ТС, этап 2 проверки установки диагностического оборудования на ТС, этап 3 авторизации пользователя, этап 4 проверки заполнения чек-листа и прикрепления фото, этап 5 передачи данных на сервер, этап 6 проверки поступления данных на сервер, этап 7 опроса бортовых систем на наличие ошибок, этап 8 проверки записи параметров состояния бортовых систем, этап 9 передачи параметров состояния бортовых систем, этап 10 проверки поступления параметров состояния бортовых систем, этап 11 создания требований на обработку фото в нейросетевом классификаторе, этап 12 проверки постановки обработки фото в очередь, этап 13 установки состояния бортовых систем параметрам коммуникационного протокола, этап 14 поверки создания задания по запросу состояния бортовых систем, этап 15 обработки результата запроса состояния бортовых систем, этап 16 проверки получения оценки детекции неисправности бортовых систем, этап 17 запроса результата обработки фото нейросетевым классификатором, этап 18 проверки получения результата обработки фото, этап 19 регистрации результатов оценки, этап 20 проверки добавления результатов оценки в чек-лист, этап 21 предоставления доступа к результатам оценки.

На фиг. 2 представлена структурная схема системы автоматизированного предрейсового осмотра ТС, использующей рассматриваемый алгоритм.

Система содержит мобильный компьютер, содержащий мобильное приложение технического осмотра (МП ТО 22), бортовой диагностический терминал 23 с выносными или внутренними антеннами GSM и GNSS, сервер 24.

Сервер 24 содержит нейросетевой классификатор 25, блок 26 приема телематических данных, блок 27 оценки данных, блок 28 принятия решений по выпуску ТС.

Через МП ТО пользователь, выполнив авторизацию, формирует пакет данных чек-листа осмотра транспортного средства и прикрепляет фото фиксацию узла и агрегата ТС.

Пакет данных из МП ТО передается на сервер и содержит:

- Одну или несколько фотографий узла или агрегата автомобиля, сохраняющихся в хранилище;

- ID шаблона чек-листа, в котором пользователь выполняет технический осмотр на своем устройстве;

- Номер секции вопросов чек-листа, к которому относятся сделанные фотографии

- Задание на классификацию в нейросетевой классификатор.

Бортовой диагностический терминал определяет местоположение транспортного средства по сигналам от глобальных спутниковых систем GPS/ГЛОНАСС записывает навигационные данные, в том числе опрашивает штатные бортовые системы транспортного средства на наличие ошибок, записывает данные с подключенных периферийных устройств (датчиков) и формирует их отправку на сервер по коммуникационному протоколу через беспроводную связь GPRS, выполняет опрос состояние бортовых систем транспортного средства через интерфейс CAN, что позволяет увеличить количество диагностируемых параметров технического состояния ТС, выполняет сбор данных подключенного периферийного оборудования, входящего в состав комплекса Tetron AutoExplorer по беспроводным интерфейсам Bluetooth (BLE), цифровым интерфейсам RS-485, RS-232, 1-Wire, CAN и аналоговым входам предназначенным для подключения частотно-импульсных и аналогово-дискретных сигналов.

Осуществление изобретения

Для проведения автоматизированного визуального контроля внешнего вида транспортного средства и внешнего вида салона транспортного средства на предмет визуального определения наличия необходимых элементов конструкции и целостности этих элементов была использована нейросетевой модель для детекции объектов, которая предназначена для распознавания и классификации объектов на изображениях с высокой скоростью и точностью и определения соответствия визуального вида транспортного средства необходимым стандартам для выпуска на маршрут.

Используемая нейросетевая модель состоит из следующих компонентов:

Backbone

Базовая часть модели, которая отвечает за выделение признаков из исходного изображения. Этот процесс известен как извлечение признаков. Основная цель backbone - преобразовать исходное изображение в набор признаков, которые будут использоваться в последующих слоях для детекции и классификации объектов.

Основные компоненты Backbone:

Сверточные слои: нейросетевая модель применяет многослойные сверточные сети (CNN) для извлечения признаков. Каждый сверточный слой выполняет свертку входных данных, извлекая высокоуровневые признаки, такие как края, текстуры и контуры объектов. По мере увеличения глубины сети, слои начинают распознавать более сложные паттерны, такие как формы и структуру объектов.

Пакетная нормализация: после каждого сверточного слоя применяется пакетная нормализация - слоям нейронной сети подаются на вход предварительно обработанные данные, чтобы стабилизировать обучение. Это снижает вероятность переобучения и улучшает сходимость модели за счет устранения смещений во входных данных на каждом слое.

Активирующие функции: после сверточных операций используется нелинейная функция активации «Линейный выпрямитель с «утечкой» для нелинейных преобразований, поэлементно применяющееся к пришедшим на вход данным. Это помогает модели порождать более информативные признаковые описания, лучше справляться с нелинейными паттернами в данных и предотвращает проблему "затухающих градиентов", сохраняя при этом возможность пропускать малые отрицательные значения.

Остаточные связи: нейросетевая модель применяет остаточные связи, которые позволяют информации передаваться через несколько слоев напрямую. Это устраняет проблему исчезающего градиента, что особенно важно для глубоких сетей. Такие связи значительно ускоряют обучение и помогают модели лучше обобщать информацию.

Backbone - ключевой элемент для создания эффективных признаков, необходимых для успешного детектирования объектов.

Neck

Промежуточный уровень между Backbone и Head, который предназначен для объединения признаков с разных уровней глубины сети. Это используется для детекции объектов разного масштаба, так как признаки низкого уровня могут содержать детали небольших объектов, тогда как признаки высокого уровня обычно несут более абстрактную информацию, подходящую для крупных объектов.

Основные элементы Neck:

Пирамида признаков (FPN): архитектурная стратегия, которая создает многоуровневые признаки путем объединения информации из разных слоев Backbone. FPN строит несколько пирамидных уровней, где каждый уровень содержит признаки с разным уровнем детализации. Это позволяет модели эффективно работать с объектами разных размеров - от очень маленьких до крупных.

Агрегирование каналов (PAN): PAN добавляет к архитектуре Neck дополнительные пути, которые помогают более эффективно передавать признаки между уровнями сети. Это улучшает способность модели распознавать сложные объекты, так как PAN усиливает передачу информации от слоев, содержащих более детализированные признаки.

Пространственное пирамидальное объединение (SPP): методика, которая позволяет эффективно обрабатывать объекты разного масштаба в одной и той же сети. SPP разделяет изображение на регионы с разными уровнями разрешения и аггрегирует информацию с помощью операций объединения, что помогает Neck справляться с разнокалиберными объектами и их положениями.

Neck отвечает за консолидацию информации, обеспечивая модели возможность работы с объектами различных размеров, а также улучшая распознавание сложных объектов и текстур.

Head

Финальный блок нейросетевой модели, который отвечает за детекцию объектов, их классификацию и определение координат ограничивающих рамок. Именно здесь происходит финальная обработка данных с целью предсказания объектов в изображении.

Основные элементы Head:

Предсказание координат ограничивающих рамок: нейросетевая модель предсказывает координаты ограничивающих рамок для объектов на изображении. Ограничивающие рамки описываются четырьмя параметрами: координаты центра (x, y), ширина и высота рамки. Для каждого объекта в изображении модель выдает одну или несколько рамок.

Оценка вероятности объекта: для каждой ограничивающей рамки предсказывается оценка вероятности того, что в этой рамке действительно находится объект. Модель предсказывает высокие значения для рамок, которые действительно содержат объекты, и низкие значения для ложных срабатываний.

Классификация: нейросетевая модель предсказывает класс объекта в каждой получившейся ограничивающей рамке, используя многоклассовую классификацию. Для каждой рамки генерируется вектор классов, где каждая компонента вектора представляет вероятность того, что объект принадлежит к определенному классу.

Оценка точности: финальная оценка точности предсказания для каждой рамки является произведением значения оценки вероятности объекта и вероятности класса. Это число показывает, насколько модель уверена в том, что объект правильно классифицирован и его рамка точно определена.

Head также поддерживает прогнозы на нескольких уровнях детализации, что помогает эффективно детектировать объекты различных размеров, сохраняя при этом высокую точность.

Функция потерь

Функция потерь играет ключевую роль в обучении модели и оптимизации ее производительности. Она состоит из нескольких компонентов, которые совместно минимизируют ошибки в предсказаниях модели.

Основные компоненты функции потерь:

Функция потерь для ограничивающих рамок: для предсказания координат ограничивающих рамок используется метрика степени пересечения между двумя ограничивающими рамками - IoU, которая измеряет степень перекрытия между предсказанной рамкой и истинной рамкой объекта. Чем выше значение IoU, тем точнее предсказана рамка. Цель функции потерь - минимизировать расхождение между этими рамками.

Классификация потерь: для предсказания класса объекта используется кросс-энтропийная функция потерь. Она сравнивает предсказанный класс с истинным классом объекта и штрафует модель за ошибочные предсказания. Это ключевой компонент для точной классификации объектов.

Оценка вероятности объекта: для оценки наличия объекта в ограничивающей рамке используется оценка вероятности объекта. Этот компонент функции потерь отвечает за минимизацию ошибок, связанных с ложными срабатываниями, когда модель ошибочно принимает фон за объект.

Оценки точности предсказания: комбинированная метрика, которая включает в себя как классификацию, так и точность определения границ объекта, позволяет модели штрафовать неверные предсказания как по объектам, так и по рамкам.

Функция потерь оптимизирует три аспекта: точность координат ограничивающих рамок, корректность классификации и вероятность наличия объекта. Такая комбинированная функция потерь повышает эффективность решения задач детекции объектов с высокой точностью.

Нейросетевой классификатор, получив задание на классификацию, ставит его в очередь выполнения, возвращая статус запроса (Новый, в очереди, В обработке, Завершен, Ошибка). Когда очередь задания подходит, Нейросетевой классификатор обращается в хранилище по ID шаблона чек-листа и номеру секции вопросов чек-листа, где получает фотографии.

Для каждого номера секции вопросов и каждого шаблона чек-листа на Сервере (24) имеется отдельный модуль Нейросетевого классификатора, обученный классифицировать только фотографии конкретного узла или агрегата автомобиля. Результатом классификации фотографий для каждой секции вопросов каждого шаблона чек-листа является числовое значение от 0 до 1., где 1 - узел/агрегат абсолютно не пригоден к выпуска автомобиля на маршрут (выпуск не допускается), 0 - узел/агрегат идеально пригоден для выпуска автомобиля на маршрут (выпуск допускается).

МП ТО (22), на основании полученной информации допускает выпуск автомобиля на маршрут при показателях от нейросетевого классификатора ниже 0,2 в каждой секции вопроса. При показателе от 0,2 до 0,4, МП ТО предлагает переснять фотографии для данных секций вопросов. При показателях выше порога 0,4 выпуск автомобиля с таким узлом/агрегатом на маршрут не разрешается.

Подсистема приема телематических данных принимает пакеты данных коммуникационного протокола и выполняет обработку данных, присваивая каждый параметр протокола соответствующим утвержденным вопросам чек-листа.

В подсистеме оценки данных и детекции неисправности выполняется обработка телематических данных, полученных по коммуникационному протоколу от бортового терминала, а также обработка параметров присвоенных утвержденным вопросам чек-листа на предмет детекции неисправность бортовых систем ТС

Результаты оценки данных и детекции неисправности выводятся в составе чек-листа осмотра ТС.

Результаты оценки детекций неисправности бортовых систем ТС и результаты оценки обработки фото нейросетевым классификатором регистрируются в чек-листе осмотра ТС.

Пользователю предоставляется доступ в Web интерфейс «Личный кабинет Контролера» с реестром чек-листов с достоверными результатами оценки детекции неисправности удаленной диагностики и результатами оценки обработки фото нейросетью.

Все результаты контроля технического состояния регистрируются в журнале и доступны к формированию и сохранению на ПК в формате pdf через WEB «Личный кабинет Контролера».

Изобретение относится к области пассажирских и грузовых автомобильных перевозок. Техническим результатом изобретения является повышение качества проверки технического состояния транспортных средств, выпускаемых на линию. Способ содержит: прием данных с датчиков параметров транспортного средства и сравнение их с эталонными данными транспортного средства, установку диагностического терминала на транспортное средство, проверку установки диагностического оборудования на транспортное средство, авторизацию пользователя в мобильном приложении технического осмотра, передачу данных, содержащих фотографию узлов и агрегатов транспортного средства, на нейросетевой классификатор сервера, проверку поступления данных на сервер, получение бортовым диагностическим терминалом данных о наличии ошибок в работе бортовых систем, передачу бортовым диагностическим терминалом на блок приема телематических данных сервера данных о параметрах состояния бортовых систем, проверку корректности записи на сервер данных о параметрах состояния бортовых систем, обработку фото в нейросетевом классификаторе, содержащем модули, каждый из которых обучен классифицировать только фотографии конкретного узла или агрегата автомобиля; обработку блоком оценки данных сервера результата запроса состояния бортовых систем для детекции неисправности, передачу результата обработки фото через веб-интерфейс пользователям и регистрацию результатов; анализ технического состояния узла или агрегата. 3 ил.

Способ автоматизированного предрейсового технического осмотра транспортных средств, содержащий прием данных с датчиков параметров транспортного средства, причем информация с датчиков сравнивается с эталонными данными транспортного средства, установку диагностического терминала на транспортное средство, проверку установки диагностического оборудования на транспортное средство, авторизацию пользователя в мобильном приложении технического осмотра, передачу данных, содержащих фотографию узлов и агрегатов транспортного средства, на нейросетевой классификатор сервера, проверку поступления данных на сервер, получение бортовым диагностическим терминалом данных о наличии ошибок в работе бортовых систем, передачу бортовым диагностическим терминалом на блок приема телематических данных сервера данных о параметрах состояния бортовых систем, проверку корректности записи на сервер данных о параметрах состояния бортовых систем, обработку фото в нейросетевом классификаторе, причем нейросетевой классификатор содержит модули, каждый из которых обучен классифицировать только фотографии конкретного узла или агрегата автомобиля; причем результатом классификации фотографий для каждой секции вопросов каждого шаблона чек-листа является числовое значение от 0 до 1; обработку блоком оценки данных сервера результата запроса состояния бортовых систем для детекции неисправности, передачу результата обработки фото через веб-интерфейс пользователям и регистрацию результатов; анализ технического состояния узла или агрегата, причем при значении результата классификации ниже 0,2 выпуск автомобиля на маршрут допускается, при значении результата классификации выше 0,4 выпуск автомобиля на маршрут не допускается, при значении результата классификации в диапазоне от 0,2 до 0,4 выпускается сообщение о необходимости повторного контроля состояния автомобиля.