СПОСОБ ТРЕКИНГА ОБЪЕКТОВ НА ЭТАПЕ РАСПОЗНАВАНИЯ ДЛЯ БЕСПИЛОТНЫХ АВТОМОБИЛЕЙ Российский патент 2023 года по МПК G01S17/93 

ОБЛАСТЬ ТЕХНИКИ

Заявленное изобретение относится к компьютерно-реализованным способам и системам для определения присутствия объекта, а именно к способам трекинга объектов окружения беспилотных автомобилей.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В последнее время область беспилотных автомобилей представляет большой исследовательский интерес, обусловленный близостью к реализации полностью автономных автомобилей. Системы трекинга (отслеживания) объектов окружения и объединения данных с сенсоров лежат в основе модуля восприятия автономных средств. Данные, полученные с различных сенсоров, объединяются вместе, для создания однородного представления об окружающем пространстве. Данный подход позволяет значительно снизить количество ложных и неточных распознаваний.

Кроме этого, для обеспечения безопасной навигации беспилотного автомобиля необходимо иметь надежную систему трекинга, которая позволит оценивать местоположение и скорость динамических объектов.

Подобные подходы известны из уровня техники, например, автомобильная система отображения (см. US10300856B2, опубл. 28.05.2019), которая включает в себя один экран видеодисплея и видеопроцессор, предназначенный для обработки захваченных данных видеоизображения, захваченных камерой в транспортном средстве. Одиночный экран видеодисплея включает в себя левую область отображения в левой части, правую область отображения в правой части и среднюю область отображения между левой и правой областями отображения. Экран дисплея может использовать каждую область отображения для отображения видеоизображений, полученных из соответствующей части захваченных данных изображения. Когда экран дисплея отображает видеоизображения в правой или левой области отображения, полученные из соответствующей части данных захваченного изображения, на одном экране дисплея не отображаются видеоизображения, представляющие другую часть данных захваченного изображения на другом дисплее. область, край.

Представленная в аналоге система трекинга не раскрывает полностью подхода к считыванию данных камер, поэтому сложно судить об используемой системе отслеживания объектов.

Также из уровня техники известны способы и системы для автоматизированного определения присутствия объектов (см. RU2744012, опубл. 02.03.2021). Способ содержит прием данных датчиков, представляющих окружающую область SDC в форме данных облака трехмерных точек, формирование, посредством MLA, на основе данных облака трехмерных точек, набора векторов признаков, представляющих окружающую область, формирование, посредством MLA, представления в форме сетки окружающей области, причем каждая данная ячейка представления в форме сетки включает в себя спрогнозированный параметр расстояния, указывающий расстояние от данной ячейки до ближайшей ячейки с препятствием, и использование, посредством электронного устройства, параметра расстояния для того, чтобы определять присутствие препятствия в окружающей области SDC.

Указанный способ не обладает большой производительностью, так как разработан только для работы только внутри помещений/складских территорий, и не способен работать в условиях дождя или снегопада. Также данный метод определения расстояния до объектов не учитывает историю передвижения обнаруженного препятствия, информация о которой может заметно улучшить точность определения расстояния до динамических объектов.

Из уровня техники известны, выбранные в качестве ближайшего аналога способы и системы для автоматизированного определения присутствия объектов (см. RU2769921, опубл. 08.04.2022) Способ осуществляется посредством электронного устройства, соединенного с возможностью связи с лидаром, установленным на транспортном средстве, причем лидар имеет множество лазеров для захвата данных облака лидарных точек. Способ содержит: прием первых данных облака лидарных точек, захваченных посредством лидара; выполнение посредством электронного устройства алгоритма машинного обучения (MLA) для следующего: анализа первого множества лидарных точек из первых данных облака точек относительно шаблона откликов множества лазеров; извлечения данных представления в виде сетки окружающей области транспортного средства; определения того, что первое множество лидарных точек ассоциировано со слепой зоной, причем слепая зона препятствует алгоритму обнаружения электронного устройства обнаружить присутствие по меньшей мере одного объекта в окружении транспортного средства, что обусловлено тем, что присутствует по меньшей мере один объект.

Указанный способ также не обладает большой производительностью, так как задействует в качестве сенсора только лидар, который имеет большое количество шума при работе в условиях сильного дождя, тумана или снега. Использование нескольких сенсоров с объединением данных с них позволяет нивелировать недостатки каждого сенсора и увеличить точность распознавания.

Предложенный аналог наиболее близко подходит к решению проблем, решаемых заявленным изобретением, однако, по мнению заявителя проблема решается не самым эффективным способом, поскольку способ также не обеспечивает надежности при промышленном применении.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Данное изобретение направлено на решение технической проблемы, связанной созданием способа трекинга объектов на этапе распознавания для беспилотных автомобилей, позволяющего повысить производительность трекинга объектов.

Техническим результатом изобретения является повышение производительности трекинга объектов на этапе распознавания для беспилотных автомобилей.

Технический результат достигается посредством создания способа трекинга объектов на этапе распознавания для беспилотных автомобилей, включающего объединение выходных данных различных систем распознавания и объединение их в единый вывод, при которых

i объекты распознают системами распознавания по изображениям и по лидарным облакам

ii системами распознавания по изображениям принимают на вход необработанное изображение и вычисляют вероятности классов и ограничивающие рамки для различных объектов на изображении, сеть использует веса, которые предварительно обучены на датасете, в результате работы нейронной сети получают список распознаваний, который включает: ограничивающую рамку, классификацию распознаного объекта и уверенность в полученном прогнозе;

ii распознавание по лидарным облакам производят по входным сигналам необработанных лидарных облаков точек, при котором нейронная сеть принимает на вход лидарное облако точек и выполняет преобразования для поиска центральных точек и ограничивающих рамок объектов,

i производят постобработку обнаружений камеры, включающую преобразование распознанных с помощью камеры объектов, представленных в виде 2D ограничивающих рамок в 3D-объекты, для использования при ассоциации на этапе трекинга

ii для выполнения преобразования задействуют лидарные данные - облако точек, для упрощения вычислительной сложности оно проходит предобработку, состоящую из следующих шагов:

- фильтрация облака точек на основе области видимости камеры;

- воксилезация отфильтрованного облака точек;

- сегментация точек, принадлежащих земле;

i для точного выполнения трекинга целей выполняют ассоциацию распознаваний полученных с помощью разнотипных датчиков, включающую динамический поиск наикрайчайшего пути по остаточному графу.

В частном варианте выполнения для повышения надежности алгоритмов трекинга цели используют структура из двух фильтров: с предварительными и подтвержденными треками, при этом изначально распознанная цель отмечается как предварительный трек, в этот момент, для определения того, соответствует ли обнаруженная цель фактической цели или помехе/шуму используется логика M-из-N, цель отмечается как подтвержденный трек, как только она выполняет правило M-из-N, и ее движение непрерывно аппроксимируется в фильтре трекинга достижения определенного значения уровня неопределенности положения цели. Для ассоциации данных.

В частном варианте выполнения сеть использует веса, которые предварительно обучены на датасете, который содержит информацию о более 80 классов.

В частном варианте выполнения используют информацию по 8 классам из них: легковые, автомобили, пешеходы, грузовики, велосипеды, автобусы, прицепы, мотоциклы и иное, где последний - отдельный класс для прочих динамических объектов.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

Сущность изобретения поясняется рисунками, на которых:

Рис. 1 - изображает вывод лидарного детектора в виде ограничивающих рамок;

Рис. 2 - изображает результат постобработки распознаваний камеры;

Рис. 3 - изображает вывод распознавания камеры/лидара в виде ограничивающих рамок;

Рис. 4 - CTRV-модель;

Рис. 5 - изображает беспилотный автомобиль университета Иннополис;

Рис. 6 - изображает настройку лидара/камеры;

Рис. 7 - изображает визуализацию системы координат лидара/камеры в программном обеспечении RVIZ;

Рис. 8 - изображает пример работы этапов распознавания и трекинга;

Рис. 9 - изображает результат объединения данных с сенсоров и трекинга;

Рис.10 - изображает работу трекинга с визуализацией ограничивающих рамок.

Эти чертежи не охватывают и, кроме того, не ограничивают весь объем вариантов реализации данного технического решения, а представляют собой только иллюстративный материал частного случая его реализации.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Заявленный способ трекинга объектов на этапе распознавания для беспилотных автомобилей осуществляется следующим образом.

Модуль восприятия беспилотного транспортного средства (БТС) использует данные, получаемые с различных сенсоров (лидар, камера и радар) для получения информации об окружающем пространстве. Цель данного модуля - получение информации о статических препятствиях и динамических объектах (автомобили, пешеходы, велосипедисты и т.д.).

Модуль восприятия состоит из двух подмодулей: метод одновременной локализации и построения карты (simultaneous localization and mapping, SLAM), который отвечает за распознавание статических объектов; метод распознавания и отслеживания движущихся объектов (detection and tracking of moving objects, DATMO), который обеспечивает распознавание динамических объектов. Когда местоположение БТС и карта окружения, неизвестны, метод SLAM создает карту окружающей местности, одновременно локализуя позицию БТС на ней, используя данные, получаемые с сенсоров. Целью метода DATMO, в свою очередь, является распознавание и трекинг движущихся объектов вокруг БТС, с целью определения их местоположения относительно БТС и предсказания их дальнейшего поведения.

Процесс трекинга предполагает, что все получаемые входные данные с модуля распознавания соответствуют реальным динамическим объектам, но это условие не всегда выполняется. Входные данные могут содержать как статичные объекты, так и шум, получаемый ввиду неидеальной работы сенсоров. Для достижения точного трекинга динамических объектов необходима устойчивая и надежная работа системы распознавания объектов. Для этого на практике используется комбинация из нескольких сенсоров (разные типы сенсоров расположенные на разных позициях), данные которых объединяются вместе, обеспечивая более точные результаты.

Объединение данных с сенсоров может выполняться на одном из двух этапов. Первый случай - на этапе распознавания объектов. В этом случае системы распознований каждого из сенсоров предоставляют списки динамических объектов, которые далее объединяются в расширенный список уникальных объектов. Иной способ - делать объединение данных на этапе трекинга.

В этом случае выполняется трекинг выполняется независимо на каждом из сенсоров, и только после этого данные объединяются вместе для получения обновленного, уточненного списка трекуемых целей.

Дополнительно выполняется классификация распознанных объектов, которая необходима для более точного прогнозирования их дальнейшего поведения.

Классификация обычно выполняется после этапа трекинга. Однако, если информация о классе объекта будет доступна перед этапом трекинга, то может улучшить его точность. Это обусловлено тем, что, зная класс объекта, мы можем лучше предвидеть его дальнейшее поведение.

Хотя распознавание и трекинг с использованием только одного сенсора может предоставлять хорошую производительность, в некоторых случаях, одновременное использования лидара и камеры является более производительным способом восприятия окружения.

Объединение данных может проводиться тремя разными способами. Первый способ - раннее объединение, которое проводится на ещё необработанных, сырых данных. Второй способ - слияние на промежуточном этапе, которое подразумевает объединение необработанных выводов нейронных сетей распознавания.

Третий способ - позднее слияние, которое подразумевает объединение уже распознанных объектов, которые предоставляют системы распознавания каждого из сенсоров. Заявленный метод является методом позднего слияния, поскольку он позволяет брать распознования с лидара и камеры и использовать их в качестве входных данных как для модуля объединения данных, так и для трекинга.

На этапе предварительной обработки выходные данные с каждого из сенсоров представляются в однородном формате (homogenous format) для обеспечения возможности их последующего объединения. Существует два метода приведения: либо преобразовать изображения с камеры в 3D-пространство, либо преобразовать облака точек с лидара в 2D-пространство. Предлагается проецировать 2D ограничивающую рамку (bounding box) камеры в 3D используя глубину полученную с лидарных данных. Получая глубину из облака точек лидара и преобразуя ее в 3D-пространство. При этом мы обеспечиваем работу данного метода в реальном времени.

Для моделирования и оценки работы используется программное обеспечение (ПО) Autoware, которое включает в себя набор библиотек, необходимых для разработки БТС.

Для выполнения трекинга объекты сначала должны быть распознаны системами распознавания по изображениям и по лидарным облакам.

Как упоминалось ранее, для распознавания по изображениям как в Autoware, так и в этой работе используется Yolov3. Сеть Yolov3 принимает на вход необработанное изображение и вычисляет вероятности классов и ограничивающие рамки для различных объектов на изображении. Сеть использует веса, которые предварительно обучены на датасете COCO. Данный датасет содержит информацию о более 80 классов, но для домена БТС необходимы лишь 8 из них: легковые автомобили, пешеходы, грузовики, велосипеды, автобусы, прицепы, мотоциклы и иное, где последний - отдельный класс для прочих динамических объектов.

Результатом работы нейронной сети является список распознаваний, которые включают: ограничивающую рамку, классификация распознанного объекта и уверенность в полученном прогнозе. Ограничивающая рамка объекта представлена в виде b = (x₀, y₀, w, h), где (x₀, y₀) - верхний левый угол рамки, а (w, h) ширина и высота ограничивающего прямоугольника указанная в пикселях.

Как упоминалось ранее, для распознавания по лидарным облакам как в Autoware, так и в этой работе используется модель LidarCenterPoint, основанная на PointPillars. Входным сигналом для данной сети является необработанные лидарные облака точек.

Нейронная сеть принимает на вход лидарное облако точек и выполняет преобразования для поиска центральных точек и ограничивающих рамок объектов.

В настоящее время в реализации поддерживаются 5 классов: легковой автомобиль, грузовик, автобус, велосипед и пешеход.

Вывод сети представляет из себя: классификация объектов, ограничивающие рамки, уверенность в полученных прогнозах. Пример вывода показан на рисунке 1.

Каждая ограничивающая рамка b = (u, v, d, w, l, h, α) состоит из центра (u, v, d), относительно системы координат лидара, размера объекта в 3D-пространстве (w, l, h), и ориентации выраженного уголом рыскания α.

Распознанные с помощью камеры объекты представлены в виде 2D ограничивающих рамок, поэтому далее их необходимо преобразовать в 3D-объекты, для использования при ассоциации на этапе трекинга.

Для выполнения данного преобразования задействуют лидарные данные - облако точек. Для упрощения вычислительной сложности оно проходит специальную предобработку. Шаги предобработки, следующие:

1) Фильтрация облака точек на основе области видимости камеры, т.е. используются только те точки, которые расположены под углом ± 45 градусов;

2) Воксилезация отфильтрованного облака точек, для уменьшения общего количество точек;

3) Сегментация точек, принадлежащих земле, для получения только точек, принадлежащих объектам.

Шаг 1 позволяет уменьшить количество точек с50 тысяч до 9 тысяч;

Шаг 2 уменьшает количество точек до 1,5 тысячи.

Шаг 3 уменьшает количество до 500 точек.

Результат фильтрации можно увидеть на рисунке 2.

После получения отфильтрованного облака точек оно проецируется на плоскость камеры. Преобразование основано на матрице внешних параметров (extrinsic matrix) камеры. На рисунке 3. представлены выходы моделей Yolov3 и Lidar-centerpoint.

Для точного выполнения трекинга целей сначала выполняется ассоциация распознаваний полученных с разнотипных датчиков. Ассоциация возможна лишь после конвертации распознаваний камеры в 3D на шаге постобработки. Операция использует центральные точки по оси XY, размер и классы распознанных объектов. Далее задействуется алгоритм MUSSP, который выполняет динамический поиск наикрайчайшего пути по остаточному графу (residual graph). Алгоритм при этом избегает вычислений, не связанных с поиском кратчайшего пути из точки А в точку Б.

MUSSP представляет достаточную точность и эфективность решения задачи потока минимальной стоимости (min-cost flow, MCF) для проблемы ассоциации данных (data association problem, MOT) трекинга множества объектов. Существующие MOT-решения обычно используют общие либо минимально модифицированные алгоритмы MCF. MCF широко используется для решения проблем ассоциации данных, но предоставляют неоптимальную производительность.

Основанный на методе последовательного кратчайшего пути (successive shortest path, SSP), muSSP, использует знания о специфических особенностях и проблемах MCF для задач MOT. На практике это позволяет muSSP добиться повышения эффективности в сравнении с аналогичными методами тестах произвдительности MOT. muSSP гарантирует эфективность не хуже SSP, даже в самых наихудших условиях.

Трекер использует расширенный фильтр Калмана в качестве основного фильтра измерений.

Фильтр Калмана выполняет два основных шага:

прогнозирование и обновление. На этапе прогнозирования фильтр оценивает новое состояние в соответствии с матрицей перехода. Учитывая матрицу перехода и допустимый шум, фильтр оценивает новое состояние системы и ковариацию состояний на шаге обновления.

Фильтр обновляет свои прогнозируемые оценки, как только становится доступным новое измерение состояния. На первом шаге рассчитывается разница между прогнозируемым и фактическим измерением. Данный шаг известен как новизна измерений (measurement innovation)

Влияние новых измерений на оценку состояний оценивается коэффициентом усиления (Kalman gain), поскольку присутствуют шумы как процесса, так и шумы измерений. На матрицу усиления (gain matrix) влияют как ожидаемая ковариация, так и новизна ковариации.

В дополнение к постоянной скорости модель предполагает также постоянную скорость поворота (turn rate), что делает ее более точной при движении по криволинейным дорогам, в сравнении с моделью постоянной скорости. Рис. 4 изображает CTRV-модель.

Для повышения надежности алгоритмов трекинга цели используется структура из двух фильтров: с предварительными и подтвержденными треками. Это позволяет уменьшить ошибки в оценке состояний и ложные измерения.

Изначально распознанная цель отмечается как предварительный трек. В этот момент, для определения того, соответствует ли обнаруженная цель фактической цели или помехе/шуму используется логика M-из-N.

Цель отмечается как подтвержденный трек, как только она выполняет правило M-из-N, и ее движение непрерывно аппроксимируется в фильтре трекинга до достижения определенного значения уровня неопределенности положения цели. Для ассоциации данных существующих целей и получаемых новых измерений задействуется метод Глобальных ближайших соседей для ассоциации пары цель/распознавания.

Для апробации заявленного способа были проведены следующие эксперименты.

Вся сенсорика была установлена на беспилотный автомобиль университета Иннополис, показанный на рисунке 5.

А.Лидар

Velodyne VLP-32C используется для предоставления облаков точек на расстоянии до 200 метров. Он имеет разрешение по вертикали 0,33 градуса, обзор на 360 градусов с получением 3D-данных в реальном времени.

Сенсор обеспечивает точность определения дистанции +- 3 см. Облако точек представляет из себя список точек в следующем формате: p_i = [p_x, p_y, p_z, i], где

p_x, p_y, p_z являются декартовыми координатами точки в 3D-пространстве, а i - интенсивность отражения.

На практике дальность действия ограничена 100 м из-за сложностей распознавания по разреженным облакам точек, которые наблюдаются на расстоянии после 100 метров.

B. Камера

Для получения изображений используется камера Baumer VCXG-23C. Она имеет разрешение в 2,3- мегапикселя, имеет подключение по Ethernet. Фотоматрица - Sony IMX174 1/1.2"CMOS, с максимальной частотой кадров 53 кадра в секунду. Максимальное разрешение составляет 1920×1200 пикселей, однако в качестве рабочего, было выбранно разрешение 960×600 пикселей которое обеспечивает работу на 82 кадрах в секунду.

Физическое положение сенсоров на автомобиле представлено на изображении 6.

C. Калибровка

Два сенсора были откалиброваны с использованием алгоритма автоматической калибрации внешних параметров и дополнительных инструментов

Эти инструменты предоставляют перевод координат и направления (в виде угла крена, тангажа и рыскания) между координатными системами. Погрешность калибровки RMSE составила 0,0387. После калибровки была получена матрица преобразования между двумя системами координат. Она была использована при тестировании и дальнейшем анализе. Две системы координат показаны на рисунке 7.

D. Синхронизация сенсоров

Синхронизация между двумя датчиками осуществлялась с помощью Linux Precision Time Protocol (PTP), также известного как Generalized Precision Time Protocol (gPTP).

Linux PTP представляет из себя реализацию PTP, в экосистеме Linux. Он поддерживает несколько конфигураций, включая PPTP и AVENUE automotive profile. Linux PTP предоставляет следующие инструменты для синхронизации времени:

• ptp4l: daemon, который синхронизирует системные часы PTP Hardware Clock (PHC) из сетевой платы (Network Interface Card, NIC);

• phc2sys: daemon, который синхронизирует PHC и системные часы;

• pmc: утилита для настройки ptp4l во время выполнения.

Анализ результатов

Предложенный алгоритм был протестирован на датасете, который был собран самостоятельно. Датасет включает реальные данные с лидара и камеры, которые были собраны с помощью метасистемы ROS2 и сохранены в виде ROS-пакетов для дальнейшей оценки и тестирования. Система использует различные пакеты ROS2 программного обеспечения Autoware universe.

A. Параметры оценивания

1) RMSE: Среднеквадратичная ошибка (root mean square error, RMSE) - показатель точности, в нашем случае он предоставляет данные о средней ошибке распознавания или трекинга.

2) Вероятность распознавания: Вероятность распознавания является важным показателем производительности системы распознавания и трекинга, и определяется как вероятность распознавания цели для каждого нового измерения. Некоторые методы трекинга так же используют эту метрику для обновления информации о существовании цели. Предполагается что если при получении новых измерений мы смогли ассоциировать распознанный объект с предыдущими трекуемыми объектами, значит этот объект считается как "распознанный". Это позволяет рассчитать вероятность распознавания.

3) Прерывание трека: Этот показатель эффективности оценивает, насколько хорошо система трекинга отслеживает реальные цели. Индикатор описывает ситуации, когда при получении новых измерений, они не могут ассоциироваться с уже трекуемыми объектами.

Это может происходить, когда цель трекинга перекрывается иными объектами находящимися на переднем плане. Как прерывание трека считаются также ситуации, когда перекрываемый трекуемый объект снова становится видим, но система трекинга не принимаетего как ранее видимый объект - это шум. Показатель описывает время, в течение которого цель может быть перекрыта, но трекер все ещё хранит её в памяти и может воссоздать при её новом появлении.

4) Ложные треки: Трек может быть ошибочным в случае получения ошибочных показаний и отслеживании иных, нежелательных типов объектов. Их появление недопустимо по ряду причин: они создают дополнительную вычислительную сложность, могут дезориентировать модули БТС, отвечающие за планирование и предотвращение столкновений, препятствовать трекингу необходимых объектов. Мы учитываем как количество ложных треков, так и их продолжительность появления.

5) Время подтверждения трека: Этот индикатор описывает время с момента когда впервые объект замечен, до времени когда этот объект был отмечен как подтвежденный трек. Мы представляем среднее время подтверждения трека по всем ROS-пакетам.

B. Результаты

Результаты распознавания и трекинга представленны в следующем разделе. Результаты в виде изображений представлены на изображениях 8, 9 и 10.

Согласно таблице 1, камера превосходит лидар по параметру вероятности PD распознавания на дистанции.

Таблица I: Вероятность обнаружения P_D в зависимости от дистанции. Дистанция Лидар Камера 0 - 50 м. 0.98 0.95 51 - 75 м. 0.9 0.95 76 - 100 м. 0.4 0.91 101 - 150 м. - 0.65

На дистанции 75 метров и менее, оба датчика имеют отличную вероятность обнаружения. Однако, на расстоянии более 75 метров, лидар страдает от разреженности облака точек, а после 100 метров распознавание облака точек становится практически невозможным.

В неблагоприятных условиях, таких как дождь или туман, вероятность обнаружения объектов лидаром значительно снижается из-за его конструктивных особенностей. Для таких случаев требуются более сложные алгоритмы фильтрации для удаления шума.

Производительность трекинга.

Таблица II: Производительность трекинга. Сенсоры Кол во ложных треков Продолжительность ложных треков Лидар 2 22 сек. Камера 7 30 сек. Объединение 3 15 сек.

Согласно таблице 2, объединение сенсоров повышает производительность за счет уменьшения продолжительности ложных треков. Хотя количество ложных треков меньше меньше при использовании одного лидара, объединение датчиков уменьшает общую продолжительность ложных треков, что позволяет быстрее устранять ложные треки.

Таблица III : Производительность трекинга. Время под тверждения трека и время прерывания трека Сенсоры Время подтверждения Время прерывания Лидар 0.375 сек. 4.7 сек. Камера 0.3 сек. 9.1 сек. Лидар и камера 0.375 сек. 3.5 сек.

Таблица 3 показывает, что время подтверждения трека камеры короче из-за более высокой скорости бновления камеры и того факта, что Yolov3 может обрабатывать изображения с более высокой скоростью, чем модуль распознавания лидара. Благодаря точной синхронизации обоих сенсоров, алгоритм позволяет выполнять синхронизацию таким образом, чтобы она соответствовала более медленному датчику (лидар). Также можно заметить, что время прерывания трека лидара короче, чем у камеры, из-за 3D-природы облака точек, которое может содержать больше информации в случае, тем самым уменьшает время прерывания

При осуществлении заявленного способа были собраны реальные данные различных объектов (автомобили, пешеходы и т.д.) с лидара и камеры. С помощью программного обеспечения Autoware было создано множество пакетов ROS с различными сценариями движения для тестирования и оценки работы.

Заявленный способ основан на методе трекинга цели с использованием объединения датчиков на этапе распознавания. Трекинг выполняется за счет объединения выходных данных различных систем распознавания и объединения их в единый вывод, который передается системе распознавания. Это необходимо для разработки надежной и точной системы оценивания окружения. Для реализации был использован язык программирования C++.

Для разработки были использованы библиотеки Autoware universe, PCL и OpenCV. Результаты показали, что метод объединения данных с сенсоров превосходит по производительности методы, основанные на независимом использовании каждого из сенсоров.

Оценка производительности систем распознавания и трекинга также выявила несколько проблем, связанных с особенностями сенсоров. Приведённый анализ показал, что при объединении датчиков вместе их недостатки нивелируются и обеспечивают ряд преимуществ в производительности для распознавания объектов.

Изобретение относится к компьютерно-реализованным способам и системам для определения присутствия объекта, а именно к способам трекинга объектов окружения беспилотных автомобилей. Способ трекинга объектов на этапе распознавания для беспилотных автомобилей включает объединение выходных данных различных систем распознавания и объединение их в единый вывод, при которых объекты распознают системами распознавания по изображениям и по лидарным облакам: системами распознавания по изображениям принимают на вход необработанное изображение и вычисляют вероятности классов и ограничивающие рамки для различных объектов на изображении, сеть использует веса, которые предварительно обучены на датасете, в результате работы нейронной сети получают список распознаваний, который включает: ограничивающую рамку, классификацию распознанного объекта и уверенность в полученном прогнозе, распознавание по лидарным облакам производят по входным сигналам необработанных лидарных облаков точек, при котором нейронная сеть принимает на вход лидарное облако точек и выполняет преобразования для поиска центральных точек и ограничивающих рамок объектов. Также производят постобработку обнаружений камеры, включающую преобразование распознанных с помощью камеры объектов, представленных в виде 2D-ограничивающих рамок в 3D-объекты, для использования при ассоциации на этапе трекинга: для выполнения преобразования задействуют лидарные данные - облако точек. Для упрощения вычислительной сложности оно проходит предобработку, состоящую из следующих шагов: фильтрация облака точек на основе области видимости камеры; воксилезация отфильтрованного облака точек; сегментация точек, принадлежащих земле; для точного выполнения трекинга целей выполняют ассоциацию распознаваний полученных с помощью разнотипных датчиков, включающую динамический поиск наикратчайшего пути по остаточному графу. Технический результат - повышение производительности трекинга объектов на этапе распознавания для беспилотных автомобилей. 3 з.п. ф-лы, 10 ил., 3 табл.

1. Способ трекинга объектов на этапе распознавания для беспилотных автомобилей, включающий объединение выходных данных различных систем распознавания и объединение их в единый вывод, при которых

- объекты распознают системами распознавания по изображениям и по лидарным облакам;

- системами распознавания по изображениям принимают на вход необработанное изображение и вычисляют вероятности классов и ограничивающие рамки для различных объектов на изображении, сеть использует веса, которые предварительно обучены на датасете, в результате работы нейронной сети получают список распознаваний, который включает: ограничивающую рамку, классификацию распознанного объекта и уверенность в полученном прогнозе;

- распознавание по лидарным облакам производят по входным сигналам необработанных лидарных облаков точек, при котором нейронная сеть принимает на вход лидарное облако точек и выполняет преобразования для поиска центральных точек и ограничивающих рамок объектов;

- производят постобработку обнаружений камеры, включающую преобразование распознанных с помощью камеры объектов, представленных в виде 2D-ограничивающих рамок в 3D-объекты, для использования при ассоциации на этапе трекинга;

- для выполнения преобразования задействуют лидарные данные - облако точек, для упрощения вычислительной сложности оно проходит предобработку, состоящую из следующих шагов:

- фильтрация облака точек на основе области видимости камеры;

- воксилезация отфильтрованного облака точек;

- сегментация точек, принадлежащих земле;

- для точного выполнения трекинга целей выполняют ассоциацию распознаваний, полученных с помощью разнотипных датчиков, включающую динамический поиск наикратчайшего пути по остаточному графу.

2. Способ трекинга объектов по п.1, отличающийся тем, что для повышения надежности алгоритмов трекинга цели используют структуру из двух фильтров: с предварительными и подтвержденными треками, при этом изначально распознанная цель отмечается как предварительный трек, в этот момент, для определения того, соответствует ли обнаруженная цель фактической цели или помехе/шуму, используется логика M-из-N, цель отмечается как подтвержденный трек, как только она выполняет правило M-из-N, и ее движение непрерывно аппроксимируется в фильтре трекинга достижения определенного значения уровня неопределенности положения цели.

3. Способ трекинга объектов по п.1, отличающийся тем, что сеть использует веса, которые предварительно обучены на датасете, который содержит информацию о более 80 классах.

4. Способ трекинга объектов по п.1, отличающийся тем, что используют информацию по 8 классам, из них: легковые автомобили, пешеходы, грузовики, велосипеды, автобусы, прицепы, мотоциклы и иное, где последний - отдельный класс для прочих динамических объектов.