Способ картографирования местности для автономных транспортных средств Российский патент 2022 года по МПК G06V20/56 G06V10/22 G01S13/89 

Способ картографирования местности для автономных транспортных средств (АТС) относится к средствам навигации высокоавтоматизированных АТС и предназначен для автоматического нанесения на карту местности визуальных линейных признаков дорожного полотна (границы дороги, дорожная разметка, и.т.д.), распознанных на изображениях с камер АТС, и создается для развертывания АТС на новой территории.

Картографирование – это совокупность методов и алгоритмов создания карт, содержащих информацию об окружающей среде. В робототехнике цифровые карты, отражающие рабочую среду робота, применяются для определения собственного положения в пространстве, планирования пути, предотвращения столкновений. Качество карты напрямую влияет на точность решения перечисленных задач, поэтому картографирование является одной из фундаментальных проблем робототехники.

С момента появления систем помощи водителю и автономных автомобилей цифровые карты дорог стали неотъемлемой частью интеллектуальных транспортных систем. Более того, существует ряд исследований, демонстрирующих, что высокоточные цифровые карты дорог являются ключевым фактором создания автономного транспортного средства классов 3-5 по классификации американской ассоциации автомобильных инженеров SAE.

Несмотря на то, что проблема картографирования широко изучена, существует лишь малое число работ, посвященных созданию высокоточных карт для автономного транспорта. Существующие методы картографирования требуют применения высокоточных систем позиционирования и датчиков, таких как система глобального позиционирования (Global Positioning System, GPS) с применением методов кинематики реального времени (Real Time Kinematic, RTK) и лазерных дальномеров (LIDAR).

Таким образом, актуальна задача разработки алгоритмов картографирования дорожной инфраструктуры, не требующих применения дорогостоящего сенсорного оборудования, и позволяющих создавать и обновлять высокоточные цифровые карты дорог. Заданным критериям соответствуют алгоритмы, использующие камеры в качестве источника сенсорных данных. Камеры обладают рядом преимуществ по сравнению с другими датчиками: они сравнительно дешевые, обеспечивают высокое пространственное разрешение и не подвержены интерференции благодаря своей пассивной природе.

Из данной области техники известны следующие технические решения.

Известна система определения фактических параметров проезжей части (патент RU 2683618).

Согласно способу, описанному в материалах данного патента, определение параметров проезжей части включает следующие этапы:

1. Разделение цветов изображения с порогом для желтого (в пространстве HSV) и белого (в пространстве RGB).

2. Применение сглаживания (размытие изображения для удаления шума).

3. Преобразование изображения в цветовой режим "оттенки серого".

4. Применение оператора Кэнни.

5. Подготовка области интересов.

6. Применение преобразования Хафа для извлечения элементов из изображения.

7. Отрисовка полупрозрачных линий на начальном изображении (линий разметки на видеоизображении).

Данный способ позволяет распознать разметку, нанесенную на дорожном полотне, однако в нем не описан способ составления и проверки правильности составления карты пройденной дорожной разметки.

Известен способ локализации и построения навигационных карт мобильного сервисного робота (патент RU 2740229), эксплуатирующегося в помещении на основе коррекции текущих координат робота и пройденной траектории с использованием стационарных светоотражающих маяков с установленной на каждом из маяков RFID-меткой.

Согласно указанному способу, строят подкарту препятствий в конкретной позиции робота и обновляют слои построенной подкарты с использованием RGB-D камеры. Привязывают подкарту препятствий к системе координат помещения согласно пройденной траектории. При перемещении робота на заданную пороговую величину строят новую подкарту препятствий и осуществляют обновление слоев построенной подкарты. Объединяют подкарту препятствий в карту препятствий после построения каждой новой подкарты препятствий. Затем строят глобальную карту с использованием данных карты SLAM, статической карты и с учетом данных карты препятствий.

Построение подкарты препятствий в конкретной позиции робота и обновление слоев построенной подкарты препятствий по данному способу осуществляется с использованием данных с RGB-D камеры, лидара и ультразвуковых дальномеров, что предъявляет повышенные требования к вычислительным мощностям системы, реализующей способ, а также привлечение дорогостоящего сенсорного оборудования приводит к увеличению стоимости такой системы.

Известен способ определения границ дороги, формы и положения объектов, находящихся на дороге по патенту RU 2571871, включающий получение кадров полутонового изображения от камеры, установленной на транспортном средстве, при котором: формируют границы объектов путем преобразования полутонового изображения в бинарное изображение, характеризуемое первым и вторым бинарными цветами, с указанием границ объектов полутонового изображения первым бинарным цветом; выделяют изображение поверхности дороги путем заливки первым однотонным цветом внутри замкнутого контура дороги, ограниченного первым бинарным цветом; определяют контур левой, правой и верхней границ изображения поверхности дороги; обнаруживают и распознают объемные объекты, изображения которых соприкасаются с контуром изображения поверхности дороги, путем анализа формы контура, левой, правой и верхней границ изображения поверхности дороги и далее определяют положение этих объектов на дороге; выделяют на изображении поверхности дороги изображения плоских объектов, которые находятся ниже верхней границы контура изображения поверхности дороги и ограничены первым бинарным цветом, путем заливки этих объектов вторым однотонным цветом и определяют форму и положение этих объектов на дороге.

Представленный способ предназначен только для распознавания разметки дороги и ее границ, а также определения формы и положения объектов, находящихся на дороге, но не позволяет формировать карту местности для АТС, то есть осуществлять картографирование местности.

Известен способ одновременного создания карты с несколькими полосами движения и локализации транспортного средства на сгенерированной карте (US2018053060), включающий в себя следующие этапы:

- обнаружение множества разметок полосы движения в каждом из изображений дальнего переднего, среднего прямого, правого, левого и заднего поля обзора камеры;

- идентификация каждой из множества разметок полосы движения с помощью контрольной разметки полосы движения, хранящейся в базе данных;

- объединение идентифицированных разметок полосы движения для создания глобальной карты полос движения, имеющей множество смежных полос движения для транспортных средств;

- локализация основного транспортного средства в пределах основной полосы движения на глобальной карте полос движения.

Известен способ картографирования проезжей части дороги (US2021180980), который включает в себя следующие этапы:

- обнаружение данных изображения с помощью блока камеры;

- определение участков дороги в данных обнаруженного изображения с использованием блока управления;

- преобразование данных обнаруженного изображения, включая определенные области проезжей части, в вид сверху и проецирование данных преобразованного изображения на плоскость, которая находится на уровне поверхности проезжей части;

- добавление участков проезжей части на карту сетки на плоскости;

- выравнивание, по меньшей мере, двух сеточных карт из двух разных маршрутов поездки относительно друг друга и их комбинирование;

- создание итоговой сеточной карты на основе совмещенных и комбинированных сеточных карт.

Также отмечено, что блок управления выполнен с возможностью определения значения вероятности для каждой определенной области проезжей части для проверки достоверности выполняемого картографирования и, если значение вероятности выше предварительно определенного порога, отмечать соответствующую область проезжей части как проезжую часть.

Для указанных технических решений характерно то, что не учитывают или не учитывают в полной мере ошибки детекции линейных объектов дорожного полотна (дорожной разметки и границ дороги) с изображений, полученных от камер АТС, что снижает точность построения карт дорожного полотна.

В материалах источника [«Способ картографирования проезжей части дороги», US2021180980] указано, что обеспечивается возможность определения значения вероятности для каждой определенной области проезжей части с целью проверки достоверности выполняемого картографирования, при этом, если значение вероятности выше предварительно заданного порога, отмечают соответствующую область проезжей части как проезжую часть. Однако материалы данного источника не содержат информации, каким образом реализуется данный процесс.

Способ, известный из источника US2021180980, по технической сущности является наиболее близким к заявляемому изобретению и может выступать в качестве прототипа.

Задачей, на решение которой направлено заявляемое изобретение, является создание способа точного и достоверного картографирования местности для АТС посредством осуществления распознавания линейных объектов дорожного полотна (дорожной разметки и границ дороги) с изображений, полученных от камер АТС, с последующим формированием карты дорожного полотна, учитывая ошибки детекции признаков линейных объектов дорожного полотна, причем реализация данного способа выполняется без привлечения дорогостоящего сенсорного оборудования.

Технический результат заявленного изобретения заключается в повышении точности картографирования местности для АТС.

Заявленный технический результат достигается за счет осуществления способа картографирования местности для АТС, согласно которому формируют глобальную карту местности, разделенную на ячейки, записывают указанную карту в память модуля картографирования ботового компьютера АТС, от камеры, размещенной на АТС, поступает поток изображений на вход модуля картографирования бортового компьютера АТС, после этого обрабатывают полученные изображения с выделением линейных объектов дорожного полотна, формируют карту признаков выделенных линейных объектов дорожного полотна, формируют локальную карту, разделенную на ячейки, для учета ошибок детекции линейных объектов дорожного полотна, задают начальные оценки вероятности нахождения признаков выделенных линейных объектов дорожного полотна в ячейках глобальной и локальной карт, причем оценка вероятности в ячейках глобальной карты является априорной, записывают признаки выделенных линейных объектов дорожного полотна в соответствующие ячейки глобальной и локальной карт с учетом заранее известной калибровки камеры и текущего местоположения АТС, при этом признаки выделенных линейных объектов поступают в ячейки локальной карты в виде точек излома выделенных ломанных линий, формируют на основе указанных точек линии, оценивают для каждой ячейки локальной карты вероятность нахождения признака выделенного линейного объекта дорожного полотна, полученный участок локальной карты накладывают на соответствующий участок глобальной карты с суммированием оценок вероятности нахождения признака выделенного линейного объекта дорожного полотна с учетом предыдущей оценки, получают результирующую карту дорожного полотна путем осуществления бинаризации ячеек полученной карты по пороговому значению оценки вероятности нахождения признака выделенного линейного объекта дорожного полотна.

В предпочтительном варианте осуществления способа картографирования местности для АТС, распознавание линейных объектов дорожного полотна с изображений, полученных от камеры, осуществляют оконным преобразованием Хафа.

На фиг.1 представлена иллюстрация выполнения этапов способа по учету ошибок детекции признаков линейных объектов дорожного полотна, где 1 ‒ формирование участка локальной карты с оценками вероятности нахождения признака выделенного линейного объекта в каждой ячейки, 2  ‒ учет пространственных ошибок детекции признаков линейных объектов дорожного полотна, 3 ‒ получение результирующей карты дорожного полотна путем объединения участка локальной карты с соответствующим участком глобальной карты.

Способ картографирования местности для АТС осуществляется следующим образом.

На первом этапе реализации способа предварительно формируют глобальную карту местности, разделенную на ячейки, и записывают указанную карту в память модуля картографирования ботового компьютера АТС.

В процессе движения АТС на вход модуля картографирования бортового компьютера АТС поступает поток изображений дорожного полотна от камер, размещаемых на АТС, после чего осуществляют обработку полученных изображений с распознаванием линейных объектов дорожного полотна, предпочтительно, оконным преобразованием Хафа.

В качестве линейных объектов дорожного полотна выступают дорожная разметка и границы дорожного полотна, при этом в результате обработки изображений указанным образом получают множество ломаных линий, которые предположительно являются дорожной разметкой и границами дорожного полотна, распознанными на изображении.

Затем, формируют карту признаков выделенных линейных объектов дорожного полотна.

Для учета ошибок детекции линейных объектов дорожного полотна (фиг.1) формируют локальную карту (1), разделенную на ячейки, и задают начальные оценки вероятности нахождения признаков выделенных линейных объектов дорожного полотна в ячейках глобальной и локальной карт, причем оценка вероятности в ячейках глобальной карты является априорной.

Так, значения ячеек локальной карты в момент создания содержат нулевые значения, а до начала картографирования для каждой ячейки глобальной карты наличие или отсутствие в ней линейных объектов дорожного полотна считается равновероятным, то есть вероятность данного события равна 0,5.

На следующем этапе записывают признаки выделенных линейных объектов дорожного полотна в соответствующие ячейки глобальной и локальной карт с учетом заранее известной калибровки камеры и текущего местоположения АТС, при этом осуществляется перевод из системы координат, связанной с камерой в систему координат, связанной с картой.

Признаки выделенных линейных объектов поступают в ячейки локальной карты в виде точек излома распознанных ломанных линий, находят промежуточные значения для построения линий, предпочтительно, с помощью алгоритма Брезенхэма. Кроме того, ширина задетектированных ломаных линий увеличивается в направлении, перпендикулярном направлению каждого сегмента, и с учетом масштаба карты. Это необходимо для учета ширины дорожной разметки, регламентируемой стандартом ГОСТ  Р 51256-2018. Технические средства организации дорожного движения. Разметка дорожная. Классификация. Технические требования.

В ячейки локальной карты, соответствующие расширенным таким образом ломаным линиям, записывают значения вероятности нахождения признаков выделенных линейных объектов дорожного полотна в виде логарифмического значения отношения вероятностей:

, (1)

где – вероятность истинно-положительного срабатывания детектора линейных признаков объектов дорожного полотна.

Ячейкам изображения, значения которых остались нулевыми, присваивается значение равное

, (2)

где – вероятность истинно-отрицательного срабатывания детектора линейных признаков объектов дорожного полотна.

и предварительно оценивают для применяемого детектора на основе экспериментальных данных.

На следующем шаге происходит учет пространственных ошибок детекции (2). Предполагается, что шум детекции каждого сегмента ломаных линий может быть смоделирован двухмерным нормальным распределением.

Для учета пространственного шума детекции, полученная на предыдущем шаге локальная карта вероятностей сворачивается с Гауссовым ядром размером и значением стандартного отклонения .

Далее, полученный участок локальной карты накладывают на соответствующий участок глобальной карты с суммированием оценок вероятности нахождения признака выделенного линейного объекта дорожного полотна с учетом предыдущей оценки (3) согласно следующему:

, (3)

где – результирующая оценка вероятности нахождения признака выделенного линейного объекта дорожного полотна в ячейке локальной карты на k-ом шаге;

− оценка вероятности нахождения признака выделенного линейного объекта дорожного полотна в ячейке локальной карты на k-ом шаге;

− оценка вероятности нахождения признака выделенного линейного объекта дорожного полотна в ячейке локальной карты на (k-1)-ом шаге;

– априорная оценка вероятности нахождения признака выделенного линейного объекта дорожного полотна в ячейке глобальной карты.

Выражение (3) представляет собой правило итерационного обновления оценок вероятностей нахождения признаков выделенных линейных объектов дорожного полотна в ячейках локальной карты. Следует отметить, что данное обновление состоит только из операции суммирования, что делает предлагаемый способ вычислительно эффективным.

Следует отметить, что априорная оценка вероятности нахождения признака выделенного линейного объекта дорожного полотна, хранящаяся в ячейках глобальной карты, выполняется для каждой ячейки следующим образом:

(4)

где – априорная вероятность нахождения признака выделенного линейного объекта дорожного полотна.

При суммировании значений логарифмов вводятся также максимально и минимально допустимые значения сумм в ячейках , соответственно. Данные ограничения необходимы для предотвращения неограниченного роста значений в ячейках карты, который возможен, например, когда АТС стоит на месте или долгое время в область видимости попадает один и тот же локальный участок карты.

На завершающем этапе получают результирующую карту дорожного полотна путем осуществления бинаризации ячеек полученной путем указанного объединения карты по пороговому значению оценки вероятности нахождения признака выделенного линейного объекта дорожного полотна, при этом считают что, если значение ячейки больше порогового значения, то пространство содержит линейный признак объекта дорожного полотна, ниже ‒ линейный признак отсутствует.

Таким образом, реализация способа картографирования местности для АТС обеспечивает возможность формирования высокоточной карты дорожного полотна, отражающей информацию о маршруте движения АТС, которую можно векторизовать и использовать в качестве цифровой карты для позиционирования высокоавтоматизированного АТС, а периодическое обновление цифровой карты позволит поддерживать актуальную версию, что соответственно увеличит точность позиционирования.

Изобретение относится способам картографирования местности для автономных транспортных средств. Технический результат заключается в повышении точности картографирования для автономных транспортных средств (АТС). Технический результат достигается за счет того, что формируют и сохраняют глобальную карту местности, обрабатывают полученные с камер АТС изображения с выделением линейных объектов дорожного полотна, формируют карту признаков выделенных объектов, формируют локальную карту, задают начальные оценки вероятности нахождения признаков выделенных объектов в ячейках глобальной и локальной карт, записывают признаки выделенных объектов в соответствующие ячейки глобальной и локальной карт, формируют на основе указанных точек линии, оценивают для каждой ячейки локальной карты вероятность нахождения признака выделенного объекта дорожного полотна, полученный участок локальной карты накладывают на соответствующий участок глобальной карты с суммированием оценок вероятности нахождения признака выделенного объекта с учетом предыдущей оценки, получают результирующую карту путем осуществления бинаризации ячеек полученной карты по пороговому значению оценки вероятности нахождения признака выделенного линейного объекта дорожного полотна. 1 з.п. ф-лы, 1 ил.

1. Способ картографирования местности для автономных транспортных средств (АТС), характеризующийся тем, что формируют глобальную карту местности, разделенную на ячейки, записывают указанную карту в память модуля картографирования ботового компьютера АТС, от камеры, размещенной на АТС, поступает поток изображений на вход модуля картографирования бортового компьютера АТС, после этого обрабатывают полученные изображения с выделением линейных объектов дорожного полотна, формируют карту признаков выделенных линейных объектов дорожного полотна, формируют локальную карту, разделенную на ячейки, для учета ошибок детекции линейных объектов дорожного полотна, задают начальные оценки вероятности нахождения признаков выделенных линейных объектов дорожного полотна в ячейках глобальной и локальной карт, причем оценка вероятности в ячейках глобальной карты является априорной, записывают признаки выделенных линейных объектов дорожного полотна в соответствующие ячейки глобальной и локальной карт с учетом заранее известной калибровки камеры и текущего местоположения АТС, при этом признаки выделенных линейных объектов поступают в ячейки локальной карты в виде точек излома выделенных ломанных линий, формируют на основе указанных точек линии, оценивают для каждой ячейки локальной карты вероятность нахождения признака выделенного линейного объекта дорожного полотна, полученный участок локальной карты накладывают на соответствующий участок глобальной карты с суммированием оценок вероятности нахождения признака выделенного линейного объекта дорожного полотна с учетом предыдущей оценки, получают результирующую карту дорожного полотна путем осуществления бинаризации ячеек полученной карты по пороговому значению оценки вероятности нахождения признака выделенного линейного объекта дорожного полотна.

2. Способ картографирования местности для автономных транспортных средств (АТС) по п.1, характеризующийся тем, что распознавание линейных объектов дорожного полотна с изображений, полученных от камеры, осуществляют оконным преобразованием Хафа.