СПОСОБ МОНИТОРИНГА СОСТОЯНИЯ ЗИМНИХ АВТОДОРОГ Российский патент 2023 года по МПК G01C7/00 G06V10/40 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретения относятся к области мониторинга состояния дорожной инфраструктуры в условиях зимы, а также к средствам и способам комплексной диагностики эксплуатационных показателей объектов дорожного хозяйства и организации мониторинга за их технико-эксплуатационным состоянием с использованием технического зрения для транспортного средства и, более конкретно, к способу мониторинга состояния зимних автодорог с использованием по меньшей мере одной камеры и по меньшей мере одного лидара.

УРОВЕНЬ ТЕХНИКИ

Мониторинг состояния зимних автодорог является необходимым в условиях зимнего времени года. Информация о состоянии дорожного покрытия может использоваться, в частности, для оценки необходимости технического обслуживания и обеспечения своевременного ремонта дорожного полотна.

Из уровня техники известен патент US10147002B2, опубл. 04.12.2018 (МПК H04N 7/18, G06K 9/00), раскрывающий способ определения состояния дороги с использованием камеры транспортного средства. Согласно US10147002B2 предложен способ определения состояния дорожного покрытия дороги с использованием движущегося по ней транспортного средства, на котором установлена камера. С помощью камеры транспортного средства получают последовательные изображения, включая поверхность дороги, выполняют обработку изображения, включающую в себя классификацию поверхностей дороги с отнесением поверхности дороги к предварительно определенным классам, соответствующим различным дорожным условиям. Далее выполняют слияние для проверки правдоподобия, при этом слияние включает слияние классификации участков с учетом классов, соответствующих различным дорожным условиям. Затем осуществляют вывод объединенной информации или проверенной на правдоподобие информации в качестве выходной информации. Первоначально получают изображение дорожного полотна с помощью камеры транспортного средства. Изображение дорожного полотна может включать разметку, полосы движения, объекты, ограничивающие полосу движения, а также нестационарные объекты, которые не следует учитывать при определении состояния дороги. Осуществляется учет данных навигационной системы и/или данных от других датчиков окружающей среды, таких как лидар. Далее определяется облако точек или области изображения, относящиеся к поверхности дороги, эти данные или извлеченные из них признаки подаются в классификатор, который присваивает каждой области изображения, по меньшей мере, один класс, который представляет конкретное дорожное состояние.

Одним из существенных недостатков изобретения согласно US10147002B2 является отсутствие возможности мониторинга автодорог в зимнее время года, поскольку в описании рассмотрены алгоритмы для выявления изображений, полученных в приемлемых погодных условиях, когда объекты дорожной инфраструктуры хорошо различимы.

Из уровня техники также известен патент US11364839B2, опубл. 21.06.2022 (МПК B60Q 1/04, B60Q 1/00), раскрывающий систему управления транспортным средством, причем указанная система управления транспортным средством содержит камеру и датчик 3D-облака точек, установленные на транспортном средстве; модуль управления, содержащий процессор, обрабатывающий данные с изображений, полученных камерой, и данных облака точек, полученных с лидара. Дополнительно модуль управления определяет наличие другого транспортного средства, находящегося снаружи оборудованного транспортного средства и приближающегося к оборудованному транспортному средству на другой полосе движения многополосной дороги.

Одним из существенных недостатков изобретения согласно US11364839 В2 является отсутствие возможности мониторинга автодорог в зимнее время года, поскольку в описании рассмотрены алгоритмы для выявления изображений, полученных в приемлемых погодных условиях, когда объекты дорожной инфраструктуры хорошо различимы.

Наиболее близким аналогом предлагаемого изобретения является статья "An automatic image recognition system for winter road surface condition classification", INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 2010 13TH INTERNATIONAL IEEE CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 19 September 2010 (2010-09-19), Piscataway, NJ, USA, pages 1375 - 1379, XP031792816, ISBN: 978-1-4244-7657-2B, авторы RAQIB OMER; LIPING FU. В данной статье предлагается система мониторинга дорожного покрытия, основанная на изображениях с GPS-тегами, полученных из видео с камер, установленных на неспециализированных транспортных средствах, таких как общественный транспорт или полицейские машины. Задачей этой системы является сбор и обработка объективных и воспроизводимых данных о дорожном покрытии, на разработку схемы на основе изображений, по которым возможно различать три типа снежного покрова, а именно гололед, колея и полностью заснеженный покрытый. В этой статье рассматриваются алгоритмы, позволяющие детектировать типы снежного покрова. В одном из вариантов системы была использована только камера, в качестве функций для классификации хорошо работали градиенты, более 85% изображений были правильно идентифицированы. Неправильный анализ секретные изображения показали, что большинство таких изображений были случаями где следы образовались из-за утрамбованного снега на след колеса. Такие изображения были ложно идентифицированы как колея с гололедом из-за наличия некоторого уклона. Далее, в следующем варианте системы была использована камера в сочетании с изображениями, имеющими GPS тэги. В этом случае правильное распознавание было только в отношении изображений, полученных от одного типа камера и в рамках географические границы, соответствующих GPS тэгам. В целом, правильная идентификация изображений достигнута в 85% случаев.

В данном известном источнике не рассматриваются иные изображения зимней местности, помимо снежного покрова, гололеда и колеи с гололедом. В то же время, погодные условия в зимнее время года могут включать в себя, в частности, метель, различные уровни освещенности, общий светлый фон, на котором мало различимы объекты дорожной инфраструктуры.

Кроме того, в данном источнике не рассматривается использование лидаров в комбинации с камерами, а также GPS метки используются не для привязки события обнаружения дефекта дорожной инфраструктуры ко времени, а для подсказки о потенциальном состоянии дороги, чтобы алгоритм мог ориентироваться не только по изображению, но и по предполагаемому состоянию дороги в данных навигационных координатах.

Таким образом, использование камер и лидаров для мониторинга состояния дорог целом известно из уровня техники.

Однако существует проблема мониторинга именно зимних автодорог. Предлагаемое изобретение направлено на осуществление мониторинга зимних автодорог и на преодоление недостатков уровня техники. Сложность такого мониторинга заключается в том, что в зимнее время года окружающая обстановка однообразна, преобладают белые и серые цвета, возможна метель и другое ухудшение погодных условий, что приводит к трудностям детектирования на изображениях с камеры различных объектов дорожной инфраструктуры и их состояния. В зимний период серьезной проблемой мониторинга автодорог является уровень освещения заснеженной местности. В частности, «зашумленность» изображения зависит от уровня освещения дороги, например, при достаточной освещенности дороги зашумленность достаточно низкая, но это применимо к ситуации, когда дорога хорошо освещена большим количеством фонарей; в то время как при недостаточной освещенности количество шумов настолько велико, что негативно сказывается при распознавании изображения. Кроме того, при использовании камеры с высокой чувствительностью к освещению при обнаружении камерой источника искусственного освещения довольно близко к центру, видеокамера может перефокусироваться на источник освещения, в результате чего фокус с дороги сместиться и различимость дороги в значительной степени снизится, в некоторых случаях, дорога может стать неразличимой. Иными словами, динамические источники света, такие как впереди движущиеся транспортные средства с зажженными фарами, вызывают перепады баланса белого, что негативно сказывается на распознавании изображения. При расположении камеры внутри транспортного средства, например, за стеклом кабины, на наружной поверхности стекла могут находиться снег, иней и вода, перекрывающие захватываемый кадр, что также приведет к искажению и шумам в захватываемом изображении. Однако даже при расположении камеры снаружи транспортного средства не всегда возможно избежать подобных осадков на объективе камеры.

Другие проблемы распознавания связаны со сложностью распознавания колеи. Например, в городах дороги обрабатывают химическими реагентами, из-за которых колея приобретает характерный цвет, отличный от цвета чистого снега. В то же время, в условиях малонаселенной местности с пониженным относительно города траффиком цвет колеи может незначительно отличаться от цвета чистого снега, либо совсем не отличаться от него, что приводит к нецелесообразности использования камер для распознавания состояния дорожного полотна. В то же время, при использовании лидара для распознавания состояния дорожного полотна в зимнее время года могут возникнуть трудности в условиях снегопада, когда часть лучей лидара будет отражаться от снежинок, и в зависимости от интенсивности снегопада, на лидарном облаке появляется шум. Аналогично шум на лидарном облаке может быть вызван большим количеством тумана, который в зимнее время года может представлять собой микроскопические кристаллы льда. Возникновение тумана в зимнее время года обусловлено тем, что поверхность земли способна прогреться лучами солнца в течение дня до температуры, например, -3°С, а ночью температура может опуститься до -20°С и ниже градусов, при таких условиях к утру станет возможным образование густого тумана.

Таким образом, необходим способ мониторинга автодорог в зимнее время года, обеспечивающий возможность распознавания состояния и инфраструктуры дороги в различных условиях освещения дороги, в различных погодных условиях, в городских условиях, в условиях с пониженным относительно города траффиком, а также в условиях сельской местности.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно одному из аспектов настоящего изобретения предложен способ мониторинга состояния зимних автодорог, согласно которому: получают изображения объектов окружающей дорожной инфраструктуры посредством по меньшей мере одной камеры, выполненной с возможностью установки на транспортном средстве; детектируют на полученных изображениях объекты окружающей дорожной инфраструктуры и транспорт с использованием блока детектирования объектов дорожной инфраструктуры, реализованного на модели нейронной сети; заносят в базу данных результат детектирования объектов окружающей дорожной инфраструктуры; получают посредством лидара облако точек, связанное с состоянием дорожного полотна; детектируют на основе полученного облака точек дефекты дорожного полотна с использованием блока детектирования дефектов дорожного полотна; заносят в базу данных результат детектирования дефектов дорожного полотна; получают данные о координатах с приемника координат глобальной спутниковой навигационной системы; сопоставляют результат детектирования объектов окружающей дорожной инфраструктуры с соответствующей ему координатой и сопоставляют результат детектирования дефектов дорожного полотна с соответствующей ему координатой; формируют событие путем объединения результата и соответствующей этому результату координаты с временной меткой.

Техническим результатом является получение информации о состоянии дорожного полотна, а также об объектах дорожной инфраструктуры для мониторинга автодорог в зимнее время года в различных погодных условиях. В частности, технический результат достигается за счет того, что блок детектирования объектов дорожной инфраструктуры, реализован на модели нейронной сети, а также благодаря возможности формирования события путем объединения результата и соответствующей этому результату координаты с временной меткой.

В предлагаемом способе объекты окружающей дорожной инфраструктуры представляют собой дорожные знаки и вешки.

В предлагаемом способе угол наклона дорожного знака или вешки рассчитывают с использованием камеры и акселерометра, причем результаты детектирования объектов дорожной инфраструктуры комплексируют с данными от акселерометра.

В предлагаемом способе обеспечивают возможность просмотра пользователем событий и состояния системы посредствам веб-интерфейса.

Согласно еще одному из аспектов настоящего изобретения предложена система мониторинга состояния зимних автодорог, содержащая соединенные между собой локальной сетью передачи данных: вычислительный модуль; блок детектирования объектов дорожной инфраструктуры, обеспечивающий получение результата детектирования объектов дорожной инфраструктуры и реализованный на двух нейронных сетях, детекторе и классификаторе и включающий по меньшей мере одну камеру, выполненную с возможностью установки на транспортном средстве и получения изображений объектов окружающей дорожной инфраструктуры; блок детектирования дефектов дорожного полотна, обеспечивающий получение результата детектирования дефектов дорожного полотна и включающий лидар, выполненный с возможностью установки на транспортном средстве и с возможностью получения облака точек, связанного с состоянием дорожного полотна; блок формирования событий, включающий приемник координат глобальной спутниковой навигационной системы; и выполненный с возможностью формирования события путем объединения результата и соответствующей этому результату координаты с временной меткой; причем блок детектирования объектов дорожной инфраструктуры, блок детектирования дефектов дорожного полотна и блок формирования событий соединены с вычислительным модулем, выполненным с возможностью обработки изображений, полученных с камер; облак точек с лидара; сигнала глобальной спутниковой навигационной системы; система также содержит базу данных, выполненную с возможностью получения и хранения результата детектирования объектов дорожной инфраструктуры, результата детектирования дефектов дорожного полотна, и передачи указанных результатов в блок формирования событий.

В предлагаемой системе блок детектирования объектов дорожной инфраструктуры может включать две камеры, одна из которых выполнена с возможностью установки на передней части транспортного средства, а вторая камеры выполнена с возможностью установки на задней части транспортного средства.

В предлагаемой системе блок детектирования объектов дорожной инфраструктуры может включать более двух камер, расположение которых может быть организовано по периметру транспортного средства.

В предлагаемой системе камера выполнена с возможностью вращения относительно вертикальной оси и/или возможностью перемещения относительно двух взаимоперпендикулярных осей.

В предлагаемой системе блок детектирования состояния дефектов дорожного полотна содержит камеру и акселерометр, с использованием которых рассчитывают угол наклона дорожного знака или вешки путем комплексирования результатов детектирования объектов дорожной инфраструктуры с камеры и данных от акселерометра.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Предлагаемый способ мониторинга состояния зимних автодорог релизован с использованием системы 1 (см. Фиг. 1) мониторинга состояния окружающей дорожной инфраструктуры, содержащей вычислительный модуль 2; блок 3 детектирования дорожной инфраструктуры, блок 4 детектирования состояния дорожного полотна, блок 5 формирования событий с привязкой координаты глобальной спутниковой навигационной системы и базу данных 6, связанные между собой локальной сетью 7 передачи данных.

Согласно неограничивающеу варианту осуществления изобретения блок 3 детектирования дорожной инфраструктуры включает по меньшей мере одну камеру 8, выполненную с возможностью установки на транспортном средстве (не показано на чертежах). Согласно еще одному неограничивающему варианту осуществления изобретения транспортное средство может представлять собой вездеход. Согласно еще одному неограничивающему варианту осуществления изобретения камера 8 может быть установлена на транспортном средстве с обеспечением наилучшего обзора местности, такое место установки очевидно для специалиста в данной области техники. Согласно еще одному неограничивающему варианту осуществления изобретения камера 8 может быть установлена на транспортном средстве с возможностью вращения, относительно вертикальной оси, либо с возможностью перемещения водоль двух других взаимоперпендикулярных осей: вертикальной и горизонтальной. Например, оператор может задать алгорим перемещения камеры в зависимости от скорости перемещения транспортного средства, и/или его остановок, и/или местности, в которой осуществляется мониторинг. Камера 8 выполнена с возможностью получения изображения объектов окружающей дорожной инфраструктуры. Согласно еще одному неограничивающему варианту осуществления изобретения на транспортном средстве могут быть установлены две камеры 8, причемпервая камеру 8, выполненная с возможностью установки на передней части транспортного средства, то есть камеру переднего вида; вторую камеру 8, выполненную с возможностью установки на задней части транспортного средства, то есть камеру заднего вида. При этом каждая камера выполнена с возможностью получения изображения объектов окружающей дорожной инфраструктуры. В случае, если на транспортном средстве установлено две камеры 8, переднего и заднего вида, детектор 9 получает данные одновременно от двух камер 8. В этом случае во избежание повторного детектирования одного и того же события на каждой из камер 8, производится трекинг обнаруженных на изображениях объектов между камерами 8.

Блок 3 детектирования дорожной инфраструктуры представляет собой микросервис, основной задачей которого является аналитика с помощью нейросетей. В основе аналитики лежат две нейросети, детектор и классификатор. Детектор распознает знаки и вешки, которые находятся по краям дороги, а классификатор распознает тип дорожного знака.

Учитывая портативность решения и относительно высокую скорость транспортного средства, возникает дополнительное ограничение на производительность детектора.

Одним из лучших и возможных детекторов в реальном времени на данном этапе развития технологий основанных на нейронных сетях является YOLOv5. После сравнения качества и скорости работы различных архитектур, именно YOLOv5 стала лидером и позволила достичь необходимых критериев детектирования элементов дорожной инфраструктуры.

Данная архитектура подходит для большинства задач детекций, хорошо оптимизирована, имеет одно из лучших характеристик точности и производительности, а так же гибкость в настройке сети. Гибкость обеспечивает возможность варьирования размеров модели, что позволяет контролировать показатель точности детекции и производительности. YOLOv5 так же позволяет настраивать сеть более точечно с помощью гиперпараметров, позволяющих добиться лучшего качества детекции под конкретную задачу.

Обучение производилось на записанных данных с реальных объектов, так как данные из открытых источников не позволяют достичь необходимого качества, в результате чего оказалось, что YOLOv5 является оптимальной с точки зрения как скорости, так и точности определения дорожной инфраструктуры в зимних условиях.

Опытным путем выявлено, что для распознавания дорожных знаков, намного лучше работает связка детектор с классификатором, в отличии от использования только детектора.

Из преимуществ следует отметить сильно возросшую точность классификации знака, единственным минусом является усложнение системы из-за добавления дополнительного компонента. Классификатор выбран общеизвестный ResNet50, стабильно показывающий отличное качество и скорость работы.

В системе присутствует постаналитика, позволяющая обрабатывать ложные срабатывания и пропуски объектов, что существенно помогает в реальных условиях эксплуатации.

При обнаружении детектором 9 дорожного знака выполняется подсчет высоты столба знака. Высота столба вычисляется исходя из пропорции высоты столба к высоте самого знака. Так как размер знака стандартизирован, алгоритм вычисляет высоту столба в сантиметрах. Затем выполняется вычисление угла наклона знака. Угол наклона дорожного знака вычисляется при помощи камеры 8 и внешнего акселерометра 10. Угол наклона расчитывается по соотношению между катетами прямоугольного треугольника объекта (распознанный столб знака обводится прямоугольником и таким образом сам столб делит прямоугольник на два одинаковых прямоугольных треугольника). После этого результаты (метаданные), поступающие с детектора 9, комплексируются с телеметрией акселерометра, происходит компенсация вычисленного угла.

Как указано выше по тексту описания, определение видимости дорожного знака осуществлено с помощью вышеописанной модели нейронной сети. Учитывая, что знак может быть повернут в противоположную сторону относительно движения транспортного средства, он может быть проанализирован посредством вращающейся камеры, например, из двух ее положений, с использованием двух кадров, снятых спереди и сзади транспортного средства; или с двух камер, установленных в передней и задней частях трнаспортнго средства соответственно. Если знак не читается с обеих камер/обеих положений вращающейся камеры - принимается решение о нечитаемости дорожного знака.

Результат работы детектора 9 передается и хранится в локальной базе данных 6.

При обнаружении детектором 9 вешки осуществляется вычисление угла наклона вешки аналогично рассчету угла наклона дорожного знака, результат работы детектора 9 передается и хранится в локальной базе данных 6.

Блок 4 детектирования дефектов дорожного полотна включает лидар 11, выполненный с возможностью установки на транспортном средстве с возможностью получения облака точек, связанного с состоянием дорожного полотна, а также детектор 12 дефектов дорожного полотна. Блок 4 детектирования дефектов дорожного полотна выполнен с возможностью получения облака точек с лидара 12 по udp протоколу. Обработка облак точек с лидара происходит следующим образом. Полученные данные подвергаются первой стадии очистки для удаления нулей из полученного потока. Затем происходит пространственная оценка и нормализация через преобразование в k-d-дерево представление точек в пространстве, что позволяет получить почти квази эквидистантое облако точек. После чего идет удаление выбросов с помощью матричного преобразования на адаптивный угол Эйлера для поворота облака точек в пространстве вокруг оси «у» и удаления точек по двум критериям (высота точки и статистическому правилу n-сигм по оси «z»). Очищенные данные с помощью аппроксимации к плоскости итеративно выстраиваются компланарно оси «z». Финальным шагом является обнаружение точек со значимым отклонением от средней точки, их подсчетом и сравнение с эвристическим критерием. Аналогичным образом производится оценка характера расположения точек. В случае, если это непрерывные продольные по ходу движения значительные углубления в дороге протяженностью от 10 метров, со средней глубиной от 10 см, то распознанный дефект дорожного полотна определяется как колея. Результаты работы блока 4 детектирования дефектов дорожного полотна поступают и храняться в локальной базе данных 7.

Блок 5 формирования событий с привязкой координаты глобальной спутниковой навигационной системы включает приемник 13 координат глобальной спутниковой навигационной системы. Согласно неограничивающему варианту осуществления избретения для формирования события производится объединение результатов из локальной базы данных 6, геокоординаты из буффера gsp меток, фотофрагмента с камеры в момент возникновения события, видеофрагмента за 5 секунд до события и 5 секунд после. Формирование и привязка видеофрагмента к событию выполняется при помощи механизма отложенных заданий для уменьшения нагрузки на систему. Видеозаписи доступные из видеоархива содержат временную метку необходимую для формирования демонстрационного отрезка видео с фактом фиксации события.

Предлагаемый способ мониторинга состояния зимних автодорог включает следующие этапы (см. Фиг. 2).

На этапе 1 получают изображения объектов окружающей дорожной инфраструктуры посредством по меньшей мере одной камеры, выполненной с возможностью установки на транспортном средстве.

На этапе 2 детектируют на полученных изображениях объекты окружающей дорожной инфраструктуры с использованием блока детектирования объектов дорожной инфраструктуры, реализованного на двух нейронных сетях: детекторе и классификаторе.

На этапе 3 заносят в базу данных результат детектирования объектов окружающей дорожной инфраструктуры.

На этапе 4 получают посредством лидара облако точек, связанное с состоянием дорожного полотна.

На этапе 5 детектируют на основе полученного облака точек дефекты дорожного полотна с использованием блока детектирования дефектов дорожного полотна.

На этапе 6 заносят в базу данных результат детектирования дефектов дорожного полотна.

На этапе 7 получают данные о координатах с приемника координат глобальной спутниковой навигационной системы.

На этапе 8 сопоставляют результат детектирования объектов окружающей дорожной инфраструктуры с соответствующей ему координатой и сопоставляют результат детектирования дефектов дорожного полотна с соответствующей ему координатой.

На этапе 9 формируют событие путем объединения результата и соответствующей этому результату координаты с временной меткой.

Дополнительно в предлагаемом способе обеспечивают возможность просмотра пользователем событий посредством веб-интерфейса 14.

Изобретения относятся к области мониторинга состояния дорожной инфраструктуры в условиях зимы. Техническим результатом является получение информации о состоянии дорожного полотна, а также об объектах дорожной инфраструктуры для мониторинга автодорог в зимнее время года в различных погодных условиях. Согласно одному из аспектов настоящего изобретения предложен способ мониторинга состояния зимних автодорог, согласно которому: получают изображения объектов окружающей дорожной инфраструктуры посредством по меньшей мере одной камеры, выполненной с возможностью установки на транспортном средстве; детектируют на полученных изображениях объекты окружающей дорожной инфраструктуры с использованием блока детектирования объектов дорожной инфраструктуры, реализованного на двух нейронных сетях: детекторе и классификаторе; заносят в базу данных результат детектирования объектов окружающей дорожной инфраструктуры; получают посредством лидара облако точек, связанное с состоянием дорожного полотна; детектируют на основе полученного облака точек дефекты дорожного полотна с использованием блока детектирования дефектов дорожного полотна; заносят в базу данных результат детектирования дефектов дорожного полотна; получают данные о координатах с приёмника координат глобальной спутниковой навигационной системы; сопоставляют результат детектирования объектов окружающей дорожной инфраструктуры с соответствующей ему координатой и сопоставляют результат детектирования дефектов дорожного полотна с соответствующей ему координатой; формируют событие путем объединения результата и соответствующей этому результату координаты с временной меткой. Согласно еще одному из аспектов настоящего изобретения предложена система мониторинга состояния зимних автодорог. 2 н. и 6 з.п. ф-лы, 2 ил.

1. Способ мониторинга состояния зимних автодорог, согласно которому:

- получают изображения объектов окружающей дорожной инфраструктуры посредством по меньшей мере одной камеры, выполненной с возможностью установки на транспортном средстве;

- детектируют на полученных изображениях объекты окружающей дорожной инфраструктуры с использованием блока детектирования объектов дорожной инфраструктуры, реализованного на двух нейронных сетях: детекторе и классификаторе;

- заносят в базу данных результат детектирования объектов окружающей дорожной инфраструктуры;

- получают посредством лидара облако точек, связанное с состоянием дорожного полотна;

- детектируют на основе полученного облака точек дефекты дорожного полотна с использованием блока детектирования дефектов дорожного полотна,

- заносят в базу данных результат детектирования дефектов дорожного полотна;

- получают данные о координатах с приемника координат глобальной спутниковой навигационной системы,

- сопоставляют результат детектирования объектов окружающей дорожной инфраструктуры с соответствующей ему координатой и сопоставляют результат детектирования дефектов дорожного полотна с соответствующей ему координатой;

- формируют событие путем объединения результата и соответствующей этому результату координаты с временной меткой.

2. Способ по п. 1, согласно которому объекты окружающей дорожной инфраструктуры представляют собой дорожные знаки и вешки.

3. Способ по п. 1, согласно которому рассчитывают угол наклона дорожного знака или вешки с использованием камеры и акселерометра, причем результаты детектирования объектов дорожной инфраструктуры комплексируют с данными от акселерометра.

4. Способ по п. 1, согласно которому обеспечивают возможность просмотра пользователем событий посредствам веб-интерфейса.

5. Система мониторинга состояния зимних автодорог, содержащая соединенные между собой локальной сетью передачи данных:

- вычислительный модуль;

- блок детектирования объектов дорожной инфраструктуры, обеспечивающий получение результата детектирования объектов дорожной инфраструктуры и реализованный на двух нейронных сетях: детекторе и классификаторе, и включающий по меньшей мере одну камеру, выполненную с возможностью установки на транспортном средстве и получения изображений объектов окружающей дорожной инфраструктуры;

- блок детектирования дефектов дорожного полотна, обеспечивающий получение результата детектирования дефектов дорожного полотна и включающий лидар, выполненный с возможностью установки на транспортном средстве и с возможностью получения облака точек, связанного с состоянием дорожного полотна;

- блок формирования событий, включающий приёмник координат глобальной спутниковой навигационной системы и выполненный с возможностью формирования события путем объединения результата и соответствующей этому результату координаты с временной меткой;

соединенные с вычислительным модулем, выполненным с возможностью обработки изображений, полученных с камер;

облака точек с лидара;

сигнала глобальной спутниковой навигационной системы;

- базу данных, выполненную с возможностью получения и хранения результата детектирования объектов дорожной инфраструктуры, результата детектирования дефектов дорожного полотна, и передачи указанных результатов в блок формирования событий.

6. Система по п.5, в которой блок детектирования объектов дорожной инфраструктуры включает две камеры, одна из которых выполнена с возможностью установки на передней части транспортного средства, а вторая камера выполнена с возможностью установки на задней части транспортного средства.

7. Система по п.5, в которой камера выполнена с возможностью вращения относительно вертикальной оси и/или возможностью перемещения относительно двух взаимоперпендикулярных осей.

8. Система по п.5, в которой блок детектирования состояния дефектов дорожного полотна содержит камеру и акселерометр, с использованием которых рассчитывают угол наклона дорожного знака или вешки путём комплексирования результатов детектирования объектов дорожной инфраструктуры с камеры и данных от акселерометра.