УСТРОЙСТВО И СПОСОБ ДЛЯ ОТСЛЕЖИВАНИЯ ОБЪЕКТОВ Российский патент 2024 года по МПК G01S13/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области измерений, и, более конкретно, к определению и отслеживанию объектов на основе данных от радара и к управлению транспортом на основе этого.

Уровень техники

Автомобильная индустрия всего мира развивается очень активно. Повсеместное развитие и внедрение новых технологий привело к активному развитию автоматизированных решений для транспортных средств - создание передовых систем содействия водителю и полностью автономных транспортных средств (беспилотных автомобилей).

Прогнозируется, что к 2035 году беспилотные автомобили могут составить до 25% от всех продаваемых в мире автомобилей. Их активное использование приведет к тому, что в городах парк автомобилей сократится на 60%, выхлопные газы - на 80%, аварии на дорогах - на 90%.

Процесс перемещения беспилотных или оснащенных системами содействия водителю транспортных средств схож и его можно представить в виде следующих шагов, которые выполняются непрерывно в режиме реального времени с разной степенью детализации (в зависимости от уровня автоматизации автомобиля):

1. Локализация. Транспортное средство определяет расположение различных объектов: светофора, дорожной разметки, дорожных знаков, препятствий и т.д.

2. Восприятие. Транспортное средство выполняет идентификацию окружающих объектов и определяет их скорость, направление движения.

3. Предсказание. Транспортное средство прогнозирует процессы и события - например, движение других автомобилей.

4. Планирование. Исходя из предыдущих задач, алгоритмы транспортного средства определяют дальнейшие действия и отдают команды системам управления или рекомендации водителю.

Система продвинутой помощи водителю (Advanced Driver Assistance System или сокращённо ADAS) включает в себя различные алгоритмы взаимодействия и оповещения. В большинстве производимых автомобилей сейчас устанавливаются системы ADAS разного уровня в зависимости от класса транспортного средства. Ключевым фактором, способствующим росту мирового рынка ADAS систем, стали правительственные нормативные акты в некоторых странах. Интерес автопарков к ADAS обусловлен желанием сократить эксплуатационные расходы и вероятность возможных инцидентов.

ADAS включает в себя различные алгоритмы, задача которых - анализировать ситуацию на дороге и предупредить водителя о возникновении опасного инцидента во время движения. ADAS для получения информации об окружающем мире использует различные датчики: камеры, радары и лидары.

Общие принципы работы всех автоматизированных транспортных средств схожи и для них используются множество технологий:

1. Камеры фото и видеофиксации для детекции различных объектов.

2. Радары для обнаружения воздушных, морских и наземных объектов, а также для определения их дальности, скорости и геометрических параметров путем излучения радиоволн.

3. Лидары для создания облака точек, измерения расстояний и определения других параметров путем излучения света.

4. Другие датчики для контроля состояния внутренних систем транспортного средства и окружающего пространства.

5. Искусственный интеллект для обработки информации, поступившей с датчиков и камер, для управления транспортным средством или для поддержки принятия решений.

Радарные данные используются для решения широкого круга задач. Они, во-первых, могут дать дополнительную информацию о состоянии поверхности и объектов наряду с данными оптического диапазона, и во-вторых, могут служить источником уникальной информации, которую можно получить либо только по радарным данным, либо по наземным измерениям.

Известным фактом является то, что на функционирование радара в меньшей степени среди всех остальных используемых в автономных системах датчиков влияют погодные условия, при которых осуществляется эксплуатация. В процессе приема-передачи сигналов радара не создается помех при работе в дождь, в снег или в условиях запыленности на дороге.

При разработке систем ADAS с использованием доступных на рынке радаров, воплощающих традиционные способы, возникают следующие проблемы:

- проблемы совместимости данных, выдаваемых радаром, и внутренней логики разрабатываемого устройства. При использовании готовых решений не всегда ожидания соответствуют получаемому результату, особенно при использовании в условиях, не соответствующих рекомендациям производителя.

- при использовании радара в режиме отслеживания объектов (MOT) возникают множественные ошибки определения объектов, хотя на самом деле эти объекты на находятся на пути движения транспортного средства, не являются движущимися, не находятся на дороге, их траектория не пересекается с траекторией данного транспортного средства и т.д. (см. пример на Фиг. 1, где радар определяет объект как препятствие, хотя он не находится на дороге и не движется).

- при попытке совмещения данных с двух и более радаров возникают фантомные (несуществующие) объекты, скачущие объекты, раздваивающиеся объекты (например, на Фиг. 2A-2C, отражающих последовательные моменты времени, объект 105 по мере движения около радара раздвоился на объекты 105 и 31, хотя фактически это был один идущий человек) и другие ошибки определения и отслеживания объектов.

- трудность интерпретации получаемых сигналов. Имеющиеся на рынке радары, как правило, лучше всего работают при измерении больших движущихся металлических объектов, то есть при определении положения и направления других транспортных средств, поэтому широко используются при реализации адаптивных систем круиз-контроля. Обнаружение других обычных участников дорожного движения, таких как пешеходы или велосипедисты, значительно более сложная задача для радаров.

Соответственно, в уровне техники существует потребность в создании устройств и способов, способных выполнять корректное определение и отслеживание объектов, а также основанных на них систем и способов управления движением транспортного средства.

Сущность изобретения

Согласно настоящему изобретению, раскрывается устройство для отслеживания объектов, содержащее:

модуль получения данных, выполненный с возможностью получения данных от одного или более радаров, установленных на транспортном средстве, причем получаемые данные включают в себя координаты цели, уровень отраженного сигнала и радиальную скорость цели; и

модуль обработки и анализа данных, выполненный с возможностью кластеризации полученных данных и отслеживания перемещения объекта путем назначения объекту новой позиции, если кластер, полученный в результате кластеризации, имеет ассоциацию с данным отслеживаемым объектом, при этом каждая цель в полученных данных рассматривается как точка в пространстве согласно ее координатам, при этом кластеризация содержит объединение в кластеры точек, которые находятся друг от друга в пределах расстояния объединения и имеют близкую радиальную скорость, при этом расстояние объединения данной точки с другими точками зависит от уровня отраженного сигнала этой точки.

В одном из вариантов осуществления целью для радара является облученный объект, отразивший сигнал, координаты цели включают в себя расстояние до цели и азимут относительно радара.

В одном из вариантов осуществления точки имеют близкую радиальную скорость, если отклонение радиальной скорости между ними не превышает предварительно заданный порог.

В одном из вариантов осуществления порог отклонения радиальной скорости составляет 1 м/с.

В одном из вариантов осуществления кластеризация основана на методе DBSCAN.

Кроме того, согласно настоящему изобретению, раскрывается способ отслеживания объектов, содержащий этапы, на которых:

получают данные от одного или более радаров, установленных на транспортном средстве, причем получаемые данные включают в себя координаты цели, уровень отраженного сигнала и радиальную скорость цели;

выполняют кластеризацию полученных данных на основе метода DBSCAN, при этом каждая цель в полученных данных рассматривается как точка в пространстве согласно ее координатам, при этом кластеризация содержит объединение в кластеры точек, которые находятся друг от друга в пределах расстояния объединения и имеют близкую радиальную скорость, при этом расстояние объединения данной точки с другими точками зависит от уровня отраженного сигнала этой точки; и

отслеживают перемещение объекта путем назначения объекту новой позиции, если кластер, полученный в результате кластеризации, имеет ассоциацию с данным отслеживаемым объектом.

В одном из вариантов осуществления целью для радара является облученный объект, отразивший сигнал, координаты цели включают в себя расстояние до цели и азимут относительно радара.

В одном из вариантов осуществления точки имеют близкую радиальную скорость, если отклонение радиальной скорости между ними не превышает 1 м/с.

Технический результат

Благодаря вышеизложенным признакам настоящее изобретение позволяет:

- повысить точность и эффективность работы систем содействия водителю;

- повысить безопасность дорожного движения;

- обеспечить возможность интеграции в разрабатываемые транспортные средства и системы ADAS существующих на рынке простых и недорогих радаров, не обладающих сложными встроенными алгоритмами определения и отслеживания объектов, путем обработки непосредственно «сырых» данных, получаемых от радаров, согласно способам, изложенным в данном документе;

- обеспечить возможность тонкой настройки способов определения и отслеживания объектов для адаптации с логикой разрабатываемой системы без зависимости от алгоритмов, заложенных производителем радара.

Краткое описание чертежей

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Среди существующих систем ADAS можно выделить следующие:

- Антиблокировочные тормозные системы (ABS): Ставшая стандартной для многих современных автомобилей система ABS предотвращает блокировку колес во время аварийного торможения, обнаруживая различия в скорости вращения колес, и затем быстрыми импульсами затормаживая соответствующие колеса до тех пор, пока они не станут вращаться с той же скоростью, что и другие.

- Система экстренного торможения (BA): Система экстренного торможения или система помощи при аварийном торможении (EBA), предназначена для распознавания экстренного торможения с использованием данных от датчика торможения и переднего радара или ультразвуковых датчиков. Если водитель недостаточно сильно нажал на педаль тормоза, то для обеспечения дополнительного тормозного усилия включается система экстренного торможения, работающая совместно с системой ABS.

- Система курсовой устойчивости (ESP): Система ESP, также известная как электронный контроль устойчивости (ESC), предназначена для снижения риска заноса путем притормаживания соответствующих колес и уменьшения мощности двигателя в случае обнаружения избыточной или недостаточной реакции автомобиля на поворот руля при осуществлении поворотов, при маневрах уклонения от столкновения или при внезапном изменении дорожных условий и сцепления с дорожным полотном. При этом важно, чтобы любое дополнительное оборудование на автомобиле, например, тягово-сцепное устройство, было правильно установлено и запрограммировано. Когда к автомобилю прицепляется прицеп или фургон, ESP автоматически настраивается для учета дополнительной нагрузки и распределения веса.

- Адаптивный круиз-контроль (ACC): Активный круиз-контроль (ACC), также известный как автономный круиз-контроль, интеллектуальный круиз-контроль или радиолокационный круиз-контроль, автоматически регулирует скорость автомобиля, поддерживая безопасное расстояние до автомобиля, движущегося впереди. Большинство систем автоматически отключаются при определенной скорости, однако некоторые производители предлагают функцию Stop & Go или Queue Assist, которые можно использовать в медленно движущемся потоке.

- Система предупреждения фронтального столкновения (FCW): Система FCW, также известная как система предотвращения столкновений или система раннего предупреждения о лобовом столкновении, постоянно контролирует дорогу впереди с целью обнаружения объектов на пути транспортного средства, таких как пешеходы, животные или другие транспортные средства. В случае неизбежного столкновения система подает водителю аудио- или визуальные сигналы, чтобы он мог предпринять маневр уклонения, то есть, затормозить или объехать препятствие.

- Система автономного экстренного торможения (AEB): Система AEB - это дальнейшее усовершенствование системы предупреждения столкновения. Вместо того, чтобы просто предупреждать водителя, она задействует тормоз и/или рулевое управление без его участия, чтобы смягчить последствия аварии или даже полностью предотвратить ее.

- Система слежения за дорожной разметкой (LDW): Системы LDW предназначены для предотвращения непреднамеренного съезда автомобиля с полосы движения. Если система обнаруживает, что автомобиль отклоняется от курса без каких-либо соответствующих сигналов, она подает аудиовизуальные сигналы, чтобы водитель мог скорректировать траекторию движения.

- Система контроля положения автомобиля относительно дорожной разметки (LKA): Системы LKA или системы контроля положения автомобиля относительно дорожной разметки представляют собой следующий этап развития систем слежения за дорожной разметкой. Вместо того, чтобы просто предупредить водителя о выезде с полосы движения, система LKA автоматически корректирует траекторию движения, возвращая автомобиль в исходное положение без какого-либо участия водителя. На некоторые автомобили также устанавливается усовершенствованная версия этой системы, которая называется системой адаптивного управления движением по полосе. Она постоянно корректирует курс, чтобы автомобиль всегда находился в центре своей полосы движения.

- Система помощи при перестроении: Эта система, которую обычно называют системой обнаружения объектов в слепой зоне или системой информирования об объектах в слепой зоне, контролирует область вокруг автомобиля на предмет движения по каким-либо полосам. Если система определяет, что менять полосу движения небезопасно из-за другого автомобиля, движущегося по полосе, на которую нужно перестроиться, особенно в слепой зоне водителя, она подает сигнал тревоги.

- Система интеллектуального регулирования/адаптации скорости (ISA): Система ISA помогает водителю поддерживать безопасную и/или разрешенную скорость. Если автомобиль превышает это ограничение, система либо предупредит водителя, либо примет меры по снижению скорости путем снижения мощности двигателя.

- Система распознавания дорожных знаков (TSR): Сканируя дорогу впереди, система TSR помогает водителям идентифицировать находящиеся впереди дорожные знаки, такие как знаки ограничения скорости или знаки, информирующие о потенциальных опасностях. Система определяет знак и передает его изображение на приборную панель и/или дисплей информационно-развлекательной системы, чтобы предупредить водителя.

- Адаптивные фары: Адаптивные фары всегда направляют свет на дорогу благодаря информации, получаемой от системы рулевого управления, а также информации о скорости и угле наклона автомобиля. Наряду с улучшением видимости в условиях низкой освещенности она также уменьшает вероятность ослепления встречных водителей.

- Системы контроля давления в шинах (TPMS): Система TMPS предупреждает водителя о недостаточном давлении в одной или нескольких шинах, измеряя либо скорость вращения колес, либо давление внутри каждой шины. Помимо повышения безопасности система помогает снизить количество выхлопных газов и расход топлива.

- Системы ночного видения: Системы ночного видения с помощью тепловизионных камер могут регистрировать объекты за пределами зоны, освещаемой фарами автомобиля, предупреждая водителя о возможных столкновениях в условиях низкой освещенности или в плохих погодных условиях.

- Система помощи при парковке: Одна из наиболее распространенных технологий ADAS, система помощи при парковке, может представлять собой как камеры заднего вида, которые просто передают аудио- или визуальные сигналы водителю о близости любых препятствий, так и полностью автономные системы, которые самостоятельно осуществляют управление автомобилем при въезде на парковочное место и/или при выезде с него.

- Система контроля усталости водителя: Эти системы, также известные как системы распознавания сонливости водителя, могут обнаруживать усталость, наблюдая за поведением водителя в начале и во время каждой поездки. При обнаружении каких-либо признаков усталости система посылает водителю предупреждающий сигнал.

Система ADAS может предупреждать водителя о следующих опасных ситуациях:

- Предупреждение о критическом сближении с пешеходом. Предотвращает столкновение, подавая предупреждающие сигналы, в случаях, когда впереди находится пешеход, велосипед или мотоцикл (который двигается, например, со скоростью от 0 до 40 км/час).

- Система контроля опасного сближения. Предупреждает водителя сигналами и изображением на экране о слишком быстром сближении.

- Предупреждает о съезде с полосы движения. Система подает звуковые и визуальные предупреждения и помогает восстановить направление, если автомобиль неожиданно съехал с полосы.

- Уведомляет водителя, если впереди стоящий автомобиль начинает двигаться вперед даже с нулевой скоростью (при полном состоянии остановки), а сзади стоящий автомобиль не двигается в течение заданного времени - например, 2 секунд.

- Уведомляет водителя, когда в зоне обнаружения находится транспортное средство. Диапазон обнаружения может быть установлен, например, на диапазон 1,2 м /2,0 м /3,0 м (активный от 0 до 30 км/ч).

- Записывает кадры до и после аварии. Видеорегистратор записывает данные в память - например, на микро-SD-карту каждую минуту в цикле.

- Распознавание знаков ограничения скорости. Система издаёт предупредительный сигнал, если водитель движется со скоростью выше разрешённой.

Ассоциация инженеров автомобильной промышленности классифицирует системы ADAS на уровни от 0 до 5. Ниже в таблице 1 приведено краткое описание этих уровней.

Таблица 1 Уровень Определение Принцип действия 0 Без автоматизации Предупреждение водителя или минимальное вмешательство 1 Водитель осуществляет управление Водитель и автомобильные системы совместно контролируют ситуацию, например, система адаптивного круиз-контроля (ACC, TACC) 2 Водитель не осуществляет управление Автоматическая система может полностью брать управление на себя. Водитель должен быть готов к немедленному вмешательству. 3 Без зрительного контроля Водитель может отвлечься от вождения. Водитель должен быть в состоянии взять на себя управление при условии заблаговременного уведомления. 4 Без участия человека Водитель может заниматься другими делами, например, спать. Допускается использование только в предварительно геозонированных областях. 5 Рулевое управление не требуется Водитель не требуется

Характеристики радаров

В радарах используется способ радиолокации, основанный на излучении радиоволн и регистрации их отражений от объектов.

У радаров выделяют следующие технические характеристики, которые важны для использования.

Дальность действия. Характеризует диапазон дистанции, в котором радар может обнаруживать объекты (описывается в метрах). От этой характеристики зависит время реакции всей системы. Особенно важна в случае, если предусматривается движение со скоростями более 60 км/ч. Средний диапазон значений 1 - 200 метров.

Горизонтальное поле зрения. Характеризует угол (если смотреть на автомобиль сверху-вниз), в котором радар может обнаруживать объекты. Чем больше будет данный угол - тем меньше будет площадь «мертвой зоны».

Вертикальное поле зрения. Характеризует угол (если смотреть на автомобиль сбоку), в котором радар может обнаруживать объекты. Важная характеристика в случае движения транспортного средства на местности с подъемами и спусками. В этом случае, если угол будет мал, радар не сможет распознать препятствие впереди.

Разрешение радара. Применяемые в современных автономных транспортных средствах радарные системы с обзором 360° дальнего действия создают детализированную карту окружающей обстановки, независимо от внешних условий (в отличие от ранее применяемых одиночных датчиков). Передовые радарные решения интегрируются в интеллектуальную инфраструктуру, чтобы обеспечить общий канал взаимодействия для подключенных транспортных средств.

Класс защиты (IP). Данная характеристика есть у всех видов электротехнического оборудования. Для радара данная характеристика является одной из ключевых ввиду того, что радар, как правило, устанавливается на фронтальной и задней частях транспортного средства - в большинстве случаев, в области бампера, который так или иначе подвержен попаданию на его поверхность грязи и воды.

Определение и отслеживание объектов с использованием “сырых” данных радара

Целью настоящего изобретения является разработка способов обработки и комплексирования радарных данных для создания нового инструмента и внедрения в практику автоматизации транспортных средств радаров и радарных данных, которые могут значительно повысить точность и эффективность работы передовых систем автономных систем и систем содействия водителю, в том числе в городской среде.

Основной функцией предложенного устройства и способа является сопровождение наблюдаемых объектов и структуризация обрабатываемых данных для последующей передачи по различным интерфейсам связи. В процессе обработки данных радара вычисляются такие характеристики цели, как: положение и ориентация в пространстве, скорость и классификация объекта.

Работа способа условно делится на две основные части:

1) Кластеризация сигналов - сегментирование “сырых” данных радара, первичное определение объектов (кандидатов в объекты).

2) Трекинг - отслеживание объектов.

На сегодняшний день существует несколько алгоритмических подходов для решения задач множественного отслеживания целей. Ввиду ограничения по вычислительным ресурсам (в разрабатываемой системе предлагается применение микроконтроллеров с одним вычислительным ядром) в качестве способа, задействуемого в рамках предложенного изобретения, выбран подход GNN (глобальная ближайшая ассоциация данных). Основываясь на теории правдоподобия, цель способа GNN состоит в том, чтобы минимизировать общую функцию расстояния, которая учитывает все назначения от отслеживания до обнаружения. Алгоритм GNN является самым простым в использовании. Он имеет низкие вычислительные затраты и может привести к адекватной производительности для отслеживания редко распределенных целей.

Алгоритм GNN (представлен на Фиг. 3) формально можно представить в виде следующих этапов:

1. Кластеризация.

2. Поиск ассоциаций, обновление состояния объекта.

3. Контроль жизненного цикла объекта.

Более подробно, предложенный способ содержит следующие этапы.

Кластеризация

Проблемы на этапе кластеризации связаны с плотностью отраженных сигналов цели. Визуализация сигналов отражения цели типа грузовой самосвал (Радар Continental ARS-408) представлена на Фиг. 4 (Расстояние до цели - 10 метров, Азимут - 10 град) и Фиг. 5 (Расстояние до цели - 24 метра, Азимут - 0 град). На Фиг. 6 представлена визуализация сигналов отражения цели типа пешеход (Расстояние до цели - 12 метров, Азимут - 30 град). На приведённых изображениях можно видеть, что плотности сигналов отражения от облучаемых радаром объектов неоднородны. В первую очередь, это создаёт сложность при кластеризации. Для решения этой задачи требуется подобрать такой алгоритм кластеризации, который будет одинаково хорошо работать с разными по плотности объектами. Помимо этого, ему нужно обладать хорошим быстродействием и малым потреблением оперативной памяти.

Этим требованиям в целом удовлетворяет DBSCAN - алгоритм кластеризации данных, основанной на плотности. Если дан набор точек в некотором пространстве, алгоритм группирует вместе точки, которые тесно расположены, помечая как выбросы точки, которые находятся одиноко в областях с малой плотностью (ближайшие соседи которых лежат далеко). На Фиг. 7 представлено схематичное представление алгоритма DBSCAN.

Однако использование данного алгоритма для решения поставленных задач напрямую невозможно, поэтому в настоящем изобретении предлагается доработать алгоритм заменой константы расстояния (дистанции) объединения со статической на динамическую, а также добавлением крайних точек (выбросов) в состав кластера.

Дистанция до соседней точки определяется значением электромагнитной сигнатуры (RCS). В предложенной реализации значение дистанции имеет линейную зависимость от RCS, а в качестве метрики используется расстояние Евклида. На Фиг. 8 представлен график данной зависимости.

В предложенном алгоритме динамическая дистанция является параметризированным значением, задаваемым целым числом, устанавливающим максимальное значение дистанции при предварительно заданном максимальном значении RCS.

Радиолокационный разрез (RCS) - это мера того, насколько объект обнаруживается радаром. Поэтому он называется электромагнитной сигнатурой объекта. Более крупный RCS указывает на то, что объект легче обнаружить.

Объект отражает ограниченное количество энергии радара обратно к источнику. Факторы, которые влияют на это, включают в себя:

• материал, из которого сделана цель;

• размер цели относительно длины волны облучающего радиолокационного сигнала;

• абсолютный размер цели;

• угол падения (угол, под которым луч радара попадает в конкретную часть цели, которая зависит от формы цели и ее ориентации относительно источника радара);

• угол отражения (угол, под которым отраженный луч выходит из части облученной цели, зависит от угла падения);

• поляризация переданного и принимаемого излучения по отношению к ориентации цели.

Хотя мощность излучателя и расстояние важны для обнаружения целей, они не являются факторами, влияющими на расчет RCS, поскольку RCS является свойством отражательной способности цели.

Основной проблемой на этапе кластеризации двумерных данных является сложность выделения тех или иных объектов на фоне зашумленных данных.

На Фиг. 9-10 представлен кластерный режим работы радара (сырые данные) при виде сверху на въезде на кольцо и на выезде с него. Данные получены с использованием радара, закрепленного на передней решетке легкового автомобиля. На расстоянии ~25 метров от ТС находится ещё один легковой автомобиль, следующий за ТС типа самосвал на расстоянии ~30 метров.

На изображениях видно, что сигналы данных транспортных средств выделяются более яркими точками, но при этом легко просматривается неоднозначность между отражением наблюдаемых ТС, металлических ограждений и прочих посторонних объектов. Соответственно, наличие информации об объекте в виде двумерных координат (x,y) и значения RCS недостаточно для корректной интерпретации данных любыми известными алгоритмами кластеризации, и для решения задачи необходимо наличие в параметрах объекта дополнительных свойств.

В качестве такого свойства в настоящем изобретении предлагается использовать радиальную скорость цели.

На Фиг. 11-13 показаны результаты эксперимента, на котором к двумерным координатам сигналов в качестве третьего измерения (ось Z) была добавлена радиальная скорость. Как можно видеть, появилась возможность выделить движущиеся ТС.

Радар может работать по принципу FMCW (частотно-модулированного сигнала с незатухающей гармонической волной) и измерять расстояние и скорость (эффект Доплера) в одном цикле измерения. В другом варианте радар для измерения может использовать импульсную модуляцию (PCM). Возможны и другие подходящие методы измерения скорости. Разные принципы измерения дают разную точность. FMCW производит более точные измерения, что выражается в высокой плотности сигналов отражения, чем у радара с PCM.

Расстояние до объекта может быть представлено как по азимуту, так и в декартовой системе. Однако если можно точно определить координаты объекта в пространстве по азимуту и удалению, то относительная скорость сама по себе не показывает направление движения объекта, она лишь говорит о том, насколько быстро цель удаляется или приближается к источнику. Но наличие измерения относительной (радиальной) скорости улучшает процесс кластеризации, помогая лучше сегментировать сигналы, выделяя их по скорости.

Таким образом, алгоритм DBSCAN оценивает принадлежность сигнала к кластеру уже после сортировки сигналов по относительной скорости.

В результате наблюдений было установлено, что группа сигналов, заведомо принадлежащих к одному объекту, могут иметь небольшую погрешность в радиальной скорости до 1 м/c. Данную особенность предлагается учитывать в алгоритме DBSCAN путем введения соответствующего параметра.

В предложенном варианте алгоритма расчет центров кластеров происходит за один и тот же цикл, что и обход всех соседей, удовлетворяющих условию поиска (поиск соседей в радиусе исходя из RCS текущего сигнала). Однако если требуется получить такие параметры кластера, как размер и ориентацию в пространстве, необходимо прибегнуть к дополнительным вычислениям, таким как вычисление ковариационной матрицы, и извлечению её собственных чисел и векторов.

Для определения размеров распределения и его ориентации в пространстве используются данные ковариации, представленные в виде матрицы 2x2.

где на главной диагонали матрицы представлены дисперсии по координатам x и y, а в не главной диагонали - ковариация между x и y по следующей формуле:

Собственные векторы и числа данной ковариационной матрицы представляют направление осей и их размеров распределения на плоскости в пределах 1 сигмы, что в дальнейшем рассматривается как длина и ширина объекта. Представление ковариационной матрицы показано на Фиг. 14.

Поиск ассоциаций, обновление состояния объекта, фильтрация

На данном этапе производится поиск ассоциаций объектов, полученных на стадии кластеризации с отслеживаемыми объектами. Под ассоциацией подразумевается расстояние от объекта до ближайшего соседнего кластера (за метрику расстояний взято расстояние Евклида).

Если такие ассоциации найдены, объекту присваивается новое состояние.

Под новым состоянием подразумевается назначение объекту новой позиции с помощью фильтрации текущей позиции ассоциируемого кластера с предыдущей позицией объекта, а также фильтрации его матрицы ковариации геометрических параметров при помощи алгоритма скользящего среднего (Running Average).

Фильтр Калмана в данной системе позволяет решить следующие задачи: сгладить шумы измерений, объединить данные от различных датчиков, а также оценить те параметры состояния, которые не измеряются напрямую. Это достигается за счёт описания изменения состояния системы в виде математической модели и применения к ней байесовского подхода для параметров с гауссовым распределением шума. Математическая модель основана на предположении о прямолинейном и равномерном движении наблюдаемого объекта, при этом измеряемыми параметрами являются расстояние до объекта и проекция его скорости на радиус-вектор относительно радара. Полученный результат трансформируется из глобальной системы отсчёта в систему координат радара и связывается со скоростью движения транспортного средства. Для применения алгоритма калмановской фильтрации система уравнений линеаризуется с помощью матрицы Якоби. Сама фильтрация заключается в следующем. Сначала выполняется априорная оценка вектора состояния и матрицы ковариации в последующий момент времени на основе существующей математической модели. В отсутствие результатов измерения данный шаг может повторяться многократно, однако это ведёт к росту неопределённости. Для корректировки вектора состояния производится апостериорная оценка, в ходе которой объединяются измерения от радара и датчиков скорости транспортного средства. Степень смешивания данных называется калмановским усилением и определяется величиной ошибки наблюдений и матрицей ковариации. Таким образом, итоговый результат получается из комбинации математического предсказания и результатов измерений с учётом калмановского усиления.

В том случае если отслеживаемому объекту не присвоено ни одной ассоциации, то его новое положение рассчитывается на основе предыдущего. Матрица ковариации геометрических параметров при этом остаётся прежней.

Если кластер в ходе проверки не имеет ассоциации ни с одним из отслеживаемых объектов, то он помечается как объект со статусом “кандидата”. Таким образом, выполняется определение нового кандидата в объекты.

Контроль жизненного цикла объекта

Данный этап осуществляет контроль за созданием и удалением отслеживаемых объектов.

Все отслеживаемые объекты создаются на основе объектов, имеющих статус кандидата. Критерием перехода кандидата в статус объекта является M - количество подтверждений (обновлений объекта) за N - количество последних обновлений данных.

Удаление треков происходит после D - количества неподтвержденных данных за N - количество последних обновлений данных.

Данная логика позволяет отфильтровать нестабильные сигналы, связанные с разного рода переотражениями и шумами, имеющими временный характер.

Архитектура системы

Предложенные подходы к обработке радарных данных используются в качестве основы предложенного изобретения для обработки и анализа радарных данных для автономных систем и систем содействия водителю.

Предложенное изобретение имеет следующую архитектуру, представленную на Фиг. 15:

Модуль получения данных осуществляет сбор «сырых» данных от одного или более радаров. Данные включают в себя данные об отраженных сигналах: координаты цели (облученного объекта, отразившего сигнал) относительно радара, такие как расстояние до цели и азимут, уровень (или плотность) отраженного сигнала, радиальная скорость цели.

Модуль обработки и анализа данных осуществляет предварительную обработку радарных данных в соответствии с предложенными способами и строит карту окружающей среды с отображением на ней динамических объектов и интерпретирует результаты радарных данных: выполняет кластеризацию, определяет положение, ориентацию в пространстве, скорость и классификацию объектов.

Модуль передачи данных - осуществляет интеграцию и передачу данных системам типа ADAS. Предварительно модуль агрегирует данные в специальную структуру данных, которая содержит информацию о положении и ориентации в пространстве, скорости и классификации объектов окружающей среды. Передача данных системам содействия водителю может осуществляться через CAN-шину.

Этап кластеризации выполняет алгоритм на основе DBSCAN, претерпевший ряд изменений, одним из которых является изменяемая в зависимости от отражающей способности цели дистанция объединения точек.

На этапе отслеживания объектов происходит ассоциация наблюдений с отслеживаемыми целями, а также создание и удаления дорожек (треков).

Пример

Настоящее изобретение протестировано на практике.

Сначала использован вариант без учета радиальной скорости. Применен радар Continental ARS-408 (Режим работы: кластерный, Максимальная дистанция: 250 м, Режим сортировки: по индексу, Пороговое значение RCS: -64дБ). Параметры кластеризации (на основе DBSCAN): Максимальный радиус дистанции объединения: 7м при диапазоне RCS -64дБ до 64дБ, Значение сигмы распределения: 3, Отклонение радиальной скорости: +-1 м/с. Параметры обновления трека: Начальный радиус дистанции поиска ассоциаций: 8м. Параметры контроля жизненного цикла: Количество обновлений, определяющих жизненный цикл трека: 6, Количество неподтвержденных обновлений, после которого происходит удаление трека: 2, Количество подтвержденных обновлений для инициализации трека (переход из состояния “кандидата” в статус “объекта”): 4. Результат работы этого варианта показан на Фиг. 16-17 (вид сверху). Помимо отслеживаемых ТС (помечены красным: маленький - легковой автомобиль, большой - грузовой самосвал), наблюдается множество посторонних объектов в кадре.

Результат работы варианта при идентичных параметрах, но с фильтрацией по радиальной скорости кластеров (в данном случае игнорируются все статические объекты), показан на Фиг. 18-19 (вид сверху). В кадре остались только ТС, подлежащие отслеживанию.

Приведенные результаты показывают, что предложенный способ позволяет значительно повысить точность определения положения и ориентации в пространстве, скорости и классификации объекта.

Беспилотное транспортное средство

Результаты обработки радарных данных с использованием предложенных способов могут быть использованы для следующих функциональных направлений в системах содействия водителю, в том числе в городской среде:

• Система экстренного торможения (BA).

• Система предупреждения фронтального столкновения (FCW).

• Система автономного экстренного торможения (AEB).

• Система помощи при перестроении.

• Система помощи при парковке.

Кроме того, предложенные способы могут быть использованы в беспилотном транспортном средстве. Беспилотное транспортное средство содержит радар, устройство отслеживания объектов и устройство управления транспортным средством. Устройство отслеживания объектов содержит описанные выше модуль получения данных, модуль обработки и анализа данных и модуль передачи данных.

Актуальная задача состоит в обеспечении непрерывной и точной работы колонн из автономных транспортных средств, движущихся друг за другом. При этом ведомое транспортное средство должно постоянно контролировать как движение ведущего транспортного средства, так и других объектов на дороге. Отслеживая предложенным способом впереди движущийся объект, которым является ведущее транспортное средство, ведомое транспортное средство может эффективно и точно двигаться вслед за ведущим транспортным средством в широком диапазоне условий окружающей среды, не попадая в коллизии с задвоением, исчезновением и скачками ведущего и другими проблемами, при этом затрачивая минимальные ресурсы на отслеживание и высвобождая их на другие ресурсоемкие вычисления, такие как отслеживание разметки, знаков, светофоров и т.д.

Особенности работы на микроконтроллере

В одном из вариантов осуществления модуль обработки и анализа данных может быть реализован на базе микроконтроллера.

Применение способов обработки данных на микроконтроллерах имеет некоторые особенности, связанные с распределением вычислительных ресурсов между процессами. Задача усложняется с уменьшением требований к вычислителям. Процесс обработки данных на микроконтроллерах можно описать следующим образом.

В момент получения данных с радара, на аппаратном уровне микроконтроллера возникает прерывание, после чего происходит переход в функцию обработки, где происходит выполнение кода, связанного с обработкой полученных данных. После выхода из обработчика микроконтроллер передает управление пользовательскому коду.

Процесс передачи данных с радара происходит циклически. Радар также перед отправкой может слать пакет со значением передаваемых кластеров (объектов). При наличии возможности установить сортировку передаваемых кластеров по ID, смену цикла можно определять по значению передаваемого ID (если текущее значение меньше предыдущего, то радар перешел к следующему циклу передачи данных).

Отслеживая таким образом смену циклов, можно отключить на время прерывания, либо игнорировать переход в обработчик (копя сообщения во внутреннем буфере CAN) и передавать управление функциям предложенного способа.

При наличии одного вычислительного ядра и ограничениях в размере оперативной памяти (невозможности использовать буферизацию данных) качество работы способа зависит от частоты передачи данных. Чем больше способ будет тратить время на вычисление, тем более разреженные будут данные на входе.

Настоящее изобретение может эффективно использоваться на базе микроконтроллера, то есть позволяет снизить затраты ресурсов на обработку данных и упростить разрабатываемые устройства, системы и способы для автономного вождения и содействия водителю.

Дополнительные особенности реализации

Один или более описанных в настоящем документе блоков или устройств передачи (передатчиков) и один или более блоков или устройств приема (приемников) физически могут быть реализованы в одном и том же блоке или устройстве приемопередачи или в разных блоках или устройствах.

Устройством или блоком передачи в данном документе для упрощения описания может называться устройство или блок, имеющий функции не только передачи, но и приема данных, информации и/или сигналов. Аналогичным образом, устройство или блок приема может также заключать в себе функции передачи данных, информации и/или сигналов.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

При необходимости (например, в случае если велик объем данных и/или вычислений, которые необходимо выполнить в отношении этих данных), может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемые носители данных включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы или ее части из одного места в другое. Некратковременный машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного, если это применимо к настоящему изобретению.

Следует понимать, что хотя в настоящем документе для описания различных блоков, модулей, сетей, элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти блоки, модули, сети, элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один блок, модуль, сеть, элемент, компонент, область, слой или секцию от другого блока, модуля, сети, элемента, компонента, области, слоя или секции. Так, первый блок, модуль, сеть, элемент, компонент, область, слой или секция может быть назван вторым блоком, модулем, сетью, элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области измерений. Технический результат - повышение точности определения и отслеживания объектов и эффективности работы системы помощи водителю. Для этого устройство для отслеживания объектов содержит модуль получения данных, выполненный с возможностью получения данных от радаров, установленных на транспортном средстве, причем получаемые данные включают в себя координаты цели, уровень отраженного сигнала и радиальную скорость цели; и модуль обработки и анализа данных, выполненный с возможностью кластеризации полученных данных и отслеживания перемещения объекта путем назначения объекту новой позиции, при этом каждая цель в полученных данных рассматривается как точка в пространстве согласно ее координатам, при этом кластеризация содержит объединение в кластеры точек, которые находятся друг от друга в пределах расстояния объединения и имеют близкую радиальную скорость, при этом расстояние объединения данной точки с другими точками зависит от уровня отраженного сигнала этой точки. 2 н. и 3 з.п. ф-лы, 21 ил., 1 табл.

1. Устройство для отслеживания объектов, содержащее:

модуль получения данных, выполненный с возможностью получения данных от одного или более радаров, установленных на транспортном средстве, причем получаемые данные включают в себя координаты цели, уровень отраженного сигнала и радиальную скорость цели, целью для радара является облученный объект, отразивший сигнал; и

модуль обработки и анализа данных, выполненный с возможностью кластеризации полученных данных и отслеживания перемещения объекта путем назначения объекту новой позиции, если кластер, полученный в результате кластеризации, имеет ассоциацию с данным отслеживаемым объектом, при этом каждая цель в полученных данных рассматривается как точка в пространстве согласно ее координатам, при этом кластеризация содержит объединение в кластеры точек, которые находятся друг от друга в пределах расстояния объединения и имеют радиальную скорость, отклонение которой между точками не превышает предварительно заданный порог в 1 м/с, при этом расстояние объединения данной точки с другими точками зависит от уровня отраженного сигнала этой точки, при этом новая позиция назначается объекту с помощью фильтрации текущей позиции ассоциируемого кластера с предыдущей позицией объекта, а также фильтрации его матрицы ковариации геометрических параметров при помощи алгоритма скользящего среднего,

при этом осуществляется калмановская фильтрация для измерений, а также применяется математическая модель, которая основана на предположении о прямолинейном и равномерном движении наблюдаемого объекта, при этом измеряемыми координатами цели являются расстояние до объекта и проекция его скорости на радиус-вектор относительно радара.

2. Устройство по п. 1, в котором кластеризация основана на методе DBSCAN.

3. Устройство по п. 1, в котором алгоритм фильтрации заключается в следующем: сначала выполняется априорная оценка вектора состояния и матрицы ковариации в последующий момент времени на основе существующей математической модели, для корректировки вектора состояния производится апостериорная оценка, в ходе которой объединяются измерения от радара и датчиков скорости транспортного средства, степень смешивания определяется величиной ошибки наблюдений и матрицей ковариации, в результате чего итоговый результат получается из комбинации математического предсказания и результатов измерений с учетом калмановского усиления.

4. Способ отслеживания объектов, содержащий этапы, на которых:

получают данные от одного или более радаров, установленных на транспортном средстве, причем получаемые данные включают в себя координаты цели, уровень отраженного сигнала и радиальную скорость цели, целью для радара является облученный объект, отразивший сигнал;

выполняют кластеризацию полученных данных на основе метода DBSCAN, при этом каждая цель в полученных данных рассматривается как точка в пространстве согласно ее координатам, при этом кластеризация содержит объединение в кластеры точек, которые находятся друг от друга в пределах расстояния объединения и имеют радиальную скорость, отклонение которой между точками не превышает предварительно заданный порог в 1 м/с, при этом расстояние объединения данной точки с другими точками зависит от уровня отраженного сигнала этой точки; и

отслеживают перемещение объекта путем назначения объекту новой позиции, если кластер, полученный в результате кластеризации, имеет ассоциацию с данным отслеживаемым объектом, при этом новая позиция назначается объекту с помощью фильтрации текущей позиции ассоциируемого кластера с предыдущей позицией объекта, а также фильтрации его матрицы ковариации геометрических параметров при помощи алгоритма скользящего среднего,

при этом осуществляется калмановская фильтрация для измерений, а также применяется математическая модель, которая основана на предположении о прямолинейном и равномерном движении наблюдаемого объекта, при этом измеряемыми координатами цели являются расстояние до объекта и проекция его скорости на радиус-вектор относительно радара.

5. Способ по п. 4, в котором алгоритм фильтрации заключается в следующем: сначала выполняется априорная оценка вектора состояния и матрицы ковариации в последующий момент времени на основе существующей математической модели, для корректировки вектора состояния производится апостериорная оценка, в ходе которой объединяются измерения от радара и датчиков скорости транспортного средства, степень смешивания определяется величиной ошибки наблюдений и матрицей ковариации, в результате чего итоговый результат получается из комбинации математического предсказания и результатов измерений с учетом калмановского усиления.