ОТСЛЕЖИВАНИЕ ОБЪЕКТОВ ПУТЕМ ОБУЧЕНИЯ БЕЗ КОНТРОЛЯ Российский патент 2020 года по МПК G05B19/00 

УРОВЕНЬ ТЕХНИКИ

[0001] Транспортные средства могут быть оборудованы для работы как в автономном режиме, так и в режиме управления со стороны пользователя. Транспортные средства могут быть оборудованы вычислительными устройствами, сетями, датчиками и контроллерами для управления транспортным средством и для помощи водителю в управлении транспортным средством. Вычислительное устройство может контролировать окружение реального мира транспортного средства с помощью датчиков для помощи вычислительному устройству в управлении транспортным средством.

В US 9305244 раскрыты система и способ отслеживания множества целей, например наземных транспортных средств, в которых оценивают состояние каждой цели на первом временном этапе, определяют значения характеристик состояния каждой цели на втором временном этапе, обновляют оцененные состояния целей на основании определённых значений характеристик каждой цели и выполняют процесс управления идентичностью для оценки вероятности того, что конкретное измерение характеристики состояния соответствует конкретной цели, с использованием матрицы смешивания.

В US 9129211 описана байесовская сеть для отслеживания объектов с использованием точек сканирования, полученных множеством лидарных датчиков, в которой используются данные, полученные сканированием на предшествующих временных этапах, характеризующие ориентацию, скорость и положение сканируемого объекта, строится облако точек данных, полученных сканированием, выделяются прогнозируемые кластеры точек и сопоставляются с прогнозируемыми моделями объектов, которые отслеживались на предыдущем временном этапе.

В WO 2016170330 описана обработка серии изображений окружения реального мира для идентификации по меньшей мере части интересующего объекта на изображениях, при этом получают первое двумерное изображение, на котором по меньшей мере одну точку, имеющую заданное свойство, отмечают как образующую по меньшей мере часть интересующего объекта, сегментируют изображение для идентификации по меньшей мере одной области, соответствующей интересующему объекту, переносят по меньшей мере участок упомянутой области с первого двумерного изображения на второе двумерное изображение с использованием трёхмерных геометрических данных, и сегментируют второе двумерное изображение для идентификации по меньшей мере одной области, имеющей упомянутое заданное свойство, таким образом идентифицируя по меньшей мере часть интересующего объекта на втором изображении.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В одном аспекте изобретения предложен способ, содержащий этапы, на которых: определяют объект на основании первого множества точек трехмерных данных путем определения первой прямоугольной границы с центром на объекте на основании совместных вероятностей; определяют объект во втором множестве точек трехмерных данных путем определения второй прямоугольной границы с центром на объекте на основании первой прямоугольной границы и совместных вероятностей; и управляют транспортным средством на основании объекта. Точки трехмерных данных могут определяться посредством лидара. Определение объекта может включать в себя этап, на котором определяют местоположение, положение и размер первой прямоугольной границы и второй прямоугольной границы. Определение объекта может включать в себя этап, на котором сравнивают первые точки трехмерных данных с ранее полученными точками трехмерных данных для определения точек данных объекта и точек данных фона. Первая прямоугольная граница и вторая прямоугольная граница могут определяться путем максимизации совместных вероятностей точек данных объекта относительно точек данных фона. Максимизация совместных вероятностей может определять сетку 3×3 с центром на точках данных объекта, причем центральная ячейка сетки 3×3 включает в себя одну или более точек данных объекта и не включает в себя точки данных фона. Первая прямоугольная граница может определяться как центральная ячейка решетки 3×3 и использоваться как начальная точка для определения второй прямоугольной границы на основании совместных вероятностей. Совместные вероятности могут представлять собой байесовские вероятности, при этом вероятность того, что точка данных объекта принадлежит объекту, может быть обусловлена вероятностью того, что точка данных объекта принадлежала объекту на предыдущем временном этапе. Совместные вероятности могут определяться путем максимизации натуральных логарифмов совместных вероятностей. Совместные вероятности могут максимизироваться путем определения градиентов натуральных логарифмов каждой из совместных вероятностей.

В другом аспекте изобретения предложено устройство, содержащее: процессор; память, причем память хранит инструкции, выполняемые процессором, для: определения объекта на основании первого множества точек трехмерных данных путем определения первой прямоугольной границы с центром на объекте на основании совместных вероятностей; определения объекта во втором множестве точек трехмерных данных путем определения второй прямоугольной границы с центром на объекте на основании первой прямоугольной границы и совместных вероятностей; и управления транспортным средством на основании объекта. Точки трехмерных данных могут определяться посредством лидара. Определение объекта может включать в себя определение местоположения, положения и размера первой прямоугольной границы и второй прямоугольной границы. Определение объекта может включать в себя сравнение первых точек трехмерных данных с ранее полученными точками трехмерных данных для определения точек данных объекта и точек данных фона. Первая прямоугольная граница и вторая прямоугольная граница могут определяться путем максимизации совместных вероятностей точек данных объекта относительно точек данных фона. Максимизация совместных вероятностей может определять сетку 3×3 с центром на точках данных объекта, причем центральная ячейка сетки 3×3 может включать в себя одну или более точек данных объекта и не включать в себя точки данных фона. Первая прямоугольная граница может определяться как центральная ячейка решетки 3×3 и используется как начальная точка для определения второй прямоугольной границы на основании совместных вероятностей. Совместные вероятности могут представлять собой байесовские вероятности, причём вероятность того, что точка данных объекта принадлежит объекту, может быть обусловлена вероятностью того, что точка данных объекта принадлежала объекту на предыдущем временном этапе. Совместные вероятности могут определяться путем максимизации натуральных логарифмов совместных вероятностей. Совместные вероятности могут максимизироваться путем определения градиентов натуральных логарифмов каждой из совместных вероятностей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0002] Фиг. 1 представляет собой структурную схему примерного транспортного средства.

[0003] Фиг. 2 представляет собой схему лидарного датчика и точек трехмерных данных.

[0004] Фиг. 3 представляет собой схему лидарного датчика и точек трехмерных данных.

[0005] Фиг. 4 представляет собой схему лидарного датчика и точек трехмерных данных.

[0006] Фиг. 5 представляет собой схему лидарного датчика и точек трехмерных данных.

[0007] Фиг. 6 представляет собой блок-схему примерного процесса управления транспортным средством.

[0008] Фиг. 7 представляет собой блок-схему примерного процесса управления транспортным средством.

[0009] Фиг. 8 представляет собой схему охватывающего прямоугольника.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0010] Транспортные средства могут быть оборудованы для работы как в автономном режиме, так и в режиме управления со стороны пользователя. Под полуавтономным или полностью автономным режимом подразумевается режим работы, при котором транспортное средство может управляться вычислительным устройством как частью информационной системы транспортного средства, имеющей датчики и контроллеры. Транспортное средство может быть с людьми или без людей, но в любом случае транспортное средство может управляться без помощи водителя. В целях описания автономный режим определен как режим, в котором каждое из приведения в движение (например, с помощью силового агрегата, включающего в себя двигатель внутреннего сгорания и/или электродвигатель), торможения и рулевого управления транспортного средства управляется одним или более компьютерами транспортного средства; в полуавтономном режиме компьютер(ы) транспортного средства управляет(ют) одним или двумя из приведения в движение, торможения и рулевого управления транспортного средства.

[0011] Транспортные средства могут быть оборудованы вычислительными устройствами, сетями, датчиками и контроллерами для управления транспортным средством и для определения карт окружающего реального мира, включая элементы, такие как дороги. Транспортные средства могут управляться, и карты могут быть определены на основании определения местоположения и идентификации дорожных знаков в окружающем реальном мире. Под управлением подразумевается направление движений транспортного средства таким образом, чтобы перемещать транспортное средство по проезжей части или другой части пути.

[0012] Фиг. 1 представляет собой схему информационной системы 100 транспортного средства, которая включает в себя транспортное средство 110, функционирующее в автономном режиме («автономном» само по себе в этом раскрытии означает «полностью автономном») и в режиме управления водителем (также называемом неавтономным) в соответствии с раскрытыми реализациями. Транспортное средство 110 также включает в себя одно или более вычислительных устройств 115 для выполнения вычислений для управления транспортным средством 110 во время автономной работы. Вычислительные устройства 115 могут принимать информацию о работе транспортного средства от датчиков 116.

[0013] Вычислительное устройство 115 включает в себя процессор и память, которые известны. Кроме того, память включает в себя одну или более форм машиночитаемых носителей и хранит инструкции, выполняемые процессором для выполнения различных операций, включая раскрытые в данном документе. Например, вычислительное устройство 115 может включать в себя программную часть для управления одним или более из тормозов, приведения в движение (например, управление ускорением в транспортном средстве 110 путем управления одним или более из двигателя внутреннего сгорания, электродвигателя, гибридного двигателя и т.д.), рулевого управления, климат-контроля, внутреннего и/или внешнего освещения транспортного средства и т.д., а также для определения того, следует ли и когда вычислительному устройству 115, а не оператору-человеку, управлять такими операциями.

[0014] Вычислительное устройство 115 может включать в себя или может быть соединено с возможностью связи, например, через шину связи транспортного средства, как описано дополнительно ниже, более чем с одним вычислительным устройством, например, контроллерами или т.п., включенными в транспортное средство 110 для контроля и/или управления различными компонентами транспортного средства, например, контроллером 112 силового агрегата, контроллером 113 тормозов, контроллером 114 рулевого управления и т.д. Вычислительное устройство 115 в общем выполнено с возможностью связи по сети связи транспортного средства, такой как шина в транспортном средстве 110, такая как шина локальной сети контроллеров (CAN) или т.п.; сеть транспортного средства 110 может включать в себя проводные или беспроводные механизмы связи, которые известны, например, Ethernet или другие протоколы связи.

[0015] Через сеть транспортного средства вычислительное устройство 115 может передавать сообщения различным устройствам в транспортном средстве и/или принимать сообщения от различных устройств, например, от контроллеров, исполнительных механизмов, датчиков и т.д., включая датчики 116. Альтернативно или кроме того, в случаях, если вычислительное устройство 115 фактически содержит несколько устройств, сеть связи транспортного средства может использоваться для связи между устройствами, представленными в виде вычислительного устройства 115 в этом раскрытии. Кроме того, как отмечено ниже, различные контроллеры или сенсорные элементы могут обеспечивать данные для вычислительного устройства 115 через сеть связи транспортного средства.

[0016] В качестве дополнения, вычислительное устройство 115 может быть выполнено с возможностью связи через интерфейс 111 связи транспортного средства с инфраструктурой (V-to-I) с удаленным серверным компьютером 120, например, облачным сервером, через сеть 130, который, как описано ниже, может использовать различные проводные и/или беспроводные сетевые технологии, например, сотовую связь, BLUETOOTH® и проводные и/или беспроводные пакетные сети. Вычислительное устройство 115 также включает в себя энергонезависимую память, которая известна. Вычислительное устройство 115 может записывать информацию, сохраняя информацию в энергонезависимой памяти, для последующего извлечения и передачи через сеть связи транспортного средства и интерфейс 111 связи транспортного средства с инфраструктурой (V-to-I) на серверный компьютер 120 или мобильное устройство 160 пользователя.

[0017] Как уже было отмечено, в инструкции, хранящиеся в памяти и выполняемые процессором вычислительного устройства 115, в общем включена программная часть для работы одного или более компонентов транспортного средства 110, например, торможения, рулевого управления, приведения в движение и т.д., без вмешательства оператора-человека. Используя данные, принимаемые в вычислительном устройстве 115, например, данные датчиков от датчиков 116, серверного компьютера 120 и т.д., вычислительное устройство 115 может выполнять различные определения и/или управлять различными компонентами транспортного средства 110 и/или операциями без управления водителем транспортным средством 110. Например, вычислительное устройство 115 может включать в себя программную часть для регулировки рабочих характеристик транспортного средства 110, таких как скорость, ускорение, замедление, рулевое управление и т.д., а также тактических характеристик, таких как расстояние между транспортными средствами и/или промежуток времени между транспортными средствами, минимальный зазор между транспортными средствами при смене полосы движения, левый поворот по кратчайшему пути, время до прибытия в определенное место и минимальное время до прибытия на перекресток (без сигнала) для пересечения перекрестка.

[0018] Контроллеры в контексте данного документа включают в себя вычислительные устройства, которые запрограммированы в общем для управления определенной подсистемой транспортного средства. Примеры включают в себя контроллер 112 силового агрегата, контроллер 113 тормозов и контроллер 114 рулевого управления. Контроллер может представлять собой электронный блок управления (ECU), который известен, возможно включающий в себя дополнительную программную часть, как описано в данном документе. Контроллеры могут быть соединены с возможностью связи и принимать инструкции от вычислительного устройства 115 для приведения в действие подсистемы в соответствии с инструкциями. Например, контроллер 113 тормозов может принимать инструкции от вычислительного устройства 115 для управления тормозами транспортного средства 110.

[0019] Один или более контроллеров 112, 113, 114 для транспортного средства 110 могут включать в себя известные электронные блоки управления (ECU) или т.п., включая, в качестве неограничивающих примеров, один или более контроллеров 112 силового агрегата, один или более контроллеров 113 тормозов и один или более контроллеров 114 рулевого управления. Каждый из контроллеров 112, 113, 114 может включать в себя соответствующие процессоры и устройства памяти и один или более исполнительных механизмов. Контроллеры 112, 113, 114 могут быть запрограммированы и соединены с шиной связи транспортного средства 110, такой как шина локальной сети контроллеров (CAN) или шина коммутируемой локальной сети (LIN), для приема инструкций от компьютера 115 и управления исполнительными механизмами на основании инструкций.

[0020] Датчики 116 могут включать в себя множество известных устройств для обеспечения данных через шину связи транспортного средства. Например, радар, прикрепленный к переднему бамперу (не показан) транспортного средства 110, может обеспечивать расстояние от транспортного средства 110 до следующего транспортного средства перед транспортным средством 110, или датчик системы глобального позиционирования (GPS), расположенный в транспортном средстве 110, может обеспечивать географические координаты транспортного средства 110. Расстояние, обеспечиваемое радаром, или географические координаты, обеспечиваемые датчиком GPS, могут быть использованы вычислительным устройством 115 для автономного или полуавтономного управления транспортным средством 110.

[0021] Транспортное средство 110 в общем представляет собой наземное автономное транспортное средство 110, имеющее три или более колес, например, пассажирский автомобиль, легкий грузовик и т.д. Транспортное средство 110 включает в себя один или более датчиков 116, интерфейс 111 связи транспортного средства с инфраструктурой, вычислительное устройство 115 и один или более контроллеров 112, 113, 114.

[0022] Датчики 116 могут быть запрограммированы для сбора данных, связанных с транспортным средством 110 и окружением, в котором эксплуатируется транспортное средство 110. Путем примера, а не ограничения, датчики 116 могут включать в себя, например, высотомеры, камеры, лидар, радар, ультразвуковые датчики, инфракрасные датчики, датчики давления, акселерометры, гироскопы, датчики температуры, датчики давления, датчики Холла, оптические датчики, датчики напряжения, датчики тока, механические датчики, такие как переключатели, и т.д. Датчики 116 могут быть использованы для определения условий окружения, в котором эксплуатируется транспортное средство 110, таких как погодные условия, уклон дороги, местоположение дороги или местоположения соседних транспортных средств 110. Датчики 116 могут дополнительно использоваться для сбора динамических данных транспортного средства 110, связанных с операциями транспортного средства 110, таких как скорость, скорость рыскания, угол поворота, частота вращения двигателя, тормозное давление, давление масла, уровень мощности, подаваемый на контроллеры 112, 113, 114 в транспортном средстве 110, связь между компонентами и электрической и логической работоспособностью транспортного средства 110.

[0023] Фиг. 2 представляет собой схему дорожной обстановки 200, где вычислительное устройство 115 в транспортном средстве 110, имеющее лидарный датчик 202, управляет лидарным датчиком 202 для получения точек 204, 206 трехмерных данных. Точки 204, 206 трехмерных данных подразделяются на две группы; точки 204 трехмерных данных фона (закрашенные кружки) и точки 206 трехмерных данных объектов (незакрашенные кружки). Точки 204, 206 могут быть автоматически помечены как точки 204 трехмерных данных фона или точки 206 трехмерных данных объектов с использованием хорошо известных методов машинного зрения. Например, может быть получена предварительная карта точек трехмерных данных, которая представляет собой статичный или неподвижный фон. Любые точки 204, 206 трехмерных данных, получаемые после этого, которые соответствуют статичному фону, могут быть помечены как точки 204 трехмерных данных «фона», а любые точки трехмерных данных, которые не соответствуют статичному фону помечаются как точки 206 трехмерных данных «объектов».

[0024] В дорожной обстановке 200 вычислительное устройство 115 определяет первый оцениваемый охватывающий прямоугольник 208 (серая штриховая линия) на основании точек 206 трехмерных данных объектов. Охватывающий прямоугольник 800 может быть образован, как показано на Фиг. 8. Фиг. 8 представляет собой схему охватывающего прямоугольника 800, образованного относительно осей 802 координат XY как пересечение двух наборов параллельных линий 804, 806, 808, 810. Оси 802 координат XY могут быть образованы в плоскости, параллельной поверхности вождения проезжей части, например. Оси 802 координат XY могут быть образованы так, чтобы они совпадали с географическими направлениями, с одной из осей, указывающей на север, например. В другом случае оси 802 координат XY могут быть образованы так, чтобы они совпадали с положением транспортного средства 110, с одной из осей, указывающей в направлении движения транспортного средства 110, например. В любом случае охватывающий прямоугольник 800 может быть определен местоположением, размером и положением ортогональной пары параллельных линий 804, 806, 808, 810.

[0025] Местоположение охватывающего прямоугольника 800 может быть определено как координаты (x₁, y₁) XY точки 814 вершины, например, определяемые относительно координат (x₀, y₀) XY начальной точки 820 осей 802 координат XY. Начальная точка 820 может быть связана с заданным местоположением на транспортном средстве 110, таким как центр тяжести, например, и в связи с этим начальная точка 820 будет перемещаться в плоскости XY, когда транспортное средство 110 движется по проезжей части. Размер и положение охватывающего прямоугольника 800 могут быть определены на основании координат (x₁, y₁), (x₂, y₂) XY точек 812, 814 вершин, например, где размеры по длине (L на Фиг. 8) и ширине (W на Фиг. 8) могут быть определены как:

(1)

(2),

и положение, определяемое как угол (Θ на Фиг. 8) относительно осей 802 координат XY, определяется как:

(3).

[0026] Со ссылкой на Фиг. 2 вычислительное устройство 115 оценивает охватывающий прямоугольник 208 (серые штриховые линии) на основании точек 206 трехмерных данных объектов, получаемых лидарным датчиком 202, истинного, но неизвестного вычислительному устройству 115, охватывающего объекты прямоугольника 210 (линия штриховки с наклоном по диагонали влево) с использованием основанного на правилах подхода, который определяет параметры для первого охватывающего прямоугольника 208, сначала выбирая начальное положение для первого охватывающего прямоугольника 208. В начальном положении стороны первого охватывающего прямоугольника 208 могут быть параллельны осям 802 координат XY соответственно, например. Затем вычислительное устройство 115 итеративно регулирует ортогональные пары параллельных линий до минимального размера, требуемого для охвата максимального количества точек 206 трехмерных данных объектов, при этом не охватывая точки 204 трехмерных данных фона, например.

[0027] Начальное положение может быть инициализировано с эвристическим размером прямоугольника на основании первого лидарного сканирования, или начальное положение может быть инициализировано путем определения ограничивающих прямоугольников, как описано в разделе ниже под названием «Оценка ограничивающих прямоугольников», присваивая «диффузное» или равномерное распределение параметров модели для предыдущего охватывающего прямоугольника. Таким образом, алгоритм оценки ограничивающих прямоугольников может быть проинформирован о том, что не имеется никакой информации об ограничивающих прямоугольниках, но алгоритму оценки ограничивающих прямоугольников позволено находить наилучшее обусловленное соответствие на основании точек трехмерных данных, получаемых с помощью первого лидарного сканирования.

[0028] Предварительная информация, известная вычислительному устройству 115, о размере ограничивающих прямоугольников, в то время как точки трехмерных данных получаются посредством первого лидарного сканирования, может использоваться, чтобы обусловить оценку ограничивающих прямоугольников. Например, известно, что объекты на дорожных полосах движения редко превышают ширину полосы движения и могут быть выровнены с полосой движения. Информация о начальном априорном распределении параметров модели может быть закодирована в первую итерацию алгоритма оценки ограничивающих прямоугольников.

[0029] Фиг. 3 представляет собой схему дорожной обстановки 300, происходящей на новом временном этапе, в который транспортное средство 110 движется, включая лидарный датчик 202. Лидарный датчик 202 обеспечивает вычислительное устройство 115 новым образцом точек 204 трехмерных данных фона (закрашенные шестиугольники) и точек 206 трехмерных данных объектов (незакрашенные шестиугольники). Вычислительное устройство 115 образует второй оцениваемый охватывающий прямоугольник 308 (штриховые линии) истинного, но неизвестного, охватывающего объекты прямоугольника 210 (линия штриховки с наклоном по диагонали влево) с помощью совместного байесовского вывода на основании точек 206 трехмерных данных объектов и первого оцениваемого охватывающего прямоугольника 208, как описано в разделе ниже под названием «Оценка ограничивающих прямоугольников», на новом временном этапе.

[0030] Раздел ниже под названием «Оценка ограничивающих прямоугольников» представляет собой вывод вычислений, требуемых для выполнения оценки ограничивающих прямоугольников с использованием байесовского вывода путем формирования распределений p вероятностей по текущим и предыдущим наблюдениям, представленных вектором случайных переменных Z_1:k, представляющих собой параметры, связанные с охватывающими прямоугольниками, с помощью уравнения:

(4),

также показанного в виде уравнение (7) ниже, где представляет собой вероятность измерения на временном этапе k, представляет собой размер прямоугольника на предыдущем временном этапе, и представляет собой модель стохастического процесса, которая моделирует совместную байесовскую вероятность точки (местоположение) трехмерных данных и параметры (размер и положение) охватывающего прямоугольника на временном этапе k и k-1, обусловленные параметрами прямоугольников, связанными с охватывающими прямоугольниками с предыдущих временных этапов. Эти факторы нормализуются путем деления на предельной вероятности данных охватывающих прямоугольников на временном этапе k. Приложение A показывает решение вероятностей измерений в виде распределения совместных байесовских вероятностей, вычисляя градиенты логарифмических правдоподобий и, таким образом, максимизируя вероятности измерений.

[0031] Максимизация распределений совместных байесовских вероятностей определяет второй оцениваемый охватывающий прямоугольник 308 на основании точек 206 трехмерных данных объектов и первого оцениваемого охватывающего прямоугольника 208. Отметим, что, когда точки 304, 306 трехмерных данных из дорожной обстановки 300 объединяются с первым оцениваемым охватывающим прямоугольником 208, второй оцениваемый охватывающий прямоугольник 308 представляет собой улучшенную оценку истинного, но неизвестного вычислительному устройству 115, охватывающего объекты прямоугольника 210. Отметим также, что в этом случае положение второго оцениваемого охватывающего прямоугольника 308 не меняется относительно положения первого оцениваемого охватывающего прямоугольника 208. Это не должно происходить, если положение первого оцениваемого охватывающего прямоугольника 208 не совпадает с положением истинного, но неизвестного, охватывающего прямоугольника 210. В этом случае положение второго оцениваемого охватывающего прямоугольника 308 будет ближе к положению истинного, но неизвестного, охватывающего прямоугольника 210, чем положение первого оцениваемого охватывающего прямоугольника 208.

[0032] Фиг. 4 представляет собой схему дорожной обстановки 400, происходящей на другом новом временном этапе, в которой транспортное средство 110 снова движется, включая лидарный датчик 202. Лидарный датчик 202 обеспечивает вычислительное устройство 115 новым образцом точек 404 трехмерных данных фона (закрашенные кружки) и точек 406 трехмерных данных объектов (незакрашенные кружки). Вычислительное устройство 115 образует третий оцениваемый охватывающий прямоугольник 408 (штриховые линии) истинного, но неизвестного, охватывающего объекты прямоугольника 210 (линия штриховки с наклоном по диагонали влево) на основании точек 406 трехмерных данных объектов и второго оцениваемого охватывающего прямоугольника 308 путем максимизации распределений совместных байесовских вероятностей, как описано выше относительно Фиг. 3 и в разделе под названием «Оценка ограничивающих прямоугольников», на новом временном этапе.

[0033] Отметим снова, что, когда точки 404, 406 трехмерных данных из дорожной обстановки 400 объединяются с предварительно оцениваемым охватывающим прямоугольником 308, оцениваемый охватывающий прямоугольник 408 представляет улучшенную оценку истинного, но неизвестного, охватывающего объекты прямоугольника 210. Если положение второго оцениваемого охватывающего прямоугольника 308 не совпадает с положением истинного, но неизвестного, охватывающего объекты прямоугольника 210, например, положение третьего оцениваемого охватывающего прямоугольника 408 может быть ближе к положению истинного, но неизвестного, охватывающего объекты прямоугольника 210, чем положение второго оцениваемого охватывающего прямоугольника 308.

[0034] Фиг. 5 представляет собой схему дорожной обстановки 500, происходящей на другом новом временном этапе, в которой транспортное средство 110 снова движется, включая лидарный датчик 202. Лидарный датчик 202 обеспечивает вычислительное устройство 115 новым образцом точек 504 трехмерных данных фона (закрашенные кружки) и точек 506 трехмерных данных объектов (незакрашенные кружки). Вычислительное устройство 115 образует четвертый оцениваемый охватывающий прямоугольник 508 (серые штриховые линии) истинного, но неизвестного, охватывающего объекты прямоугольника 210 (линия штриховки с наклоном по диагонали влево) на основании точек 406 трехмерных данных объектов и третьего оцениваемого охватывающего прямоугольника 406 путем максимизации распределений совместных байесовских вероятностей, как описано выше относительно Фиг. 3 и в разделе под названием «Оценка ограничивающих прямоугольников», на новом временном этапе.

[0035] Отметим снова, что, когда точки 504, 506 трехмерных данных из дорожной обстановки 500 объединяются с предварительно оцениваемым охватывающим прямоугольником 408, четвертый оцениваемый охватывающий прямоугольник 508 снова представляет собой улучшенную оценку истинного, но неизвестного, охватывающего объекты прямоугольника 210. Если положение третьего оцениваемого охватывающего прямоугольника 408 не совпадает с положением истинного, но неизвестного, охватывающего объекты прямоугольника 210, положение четвертого оцениваемого охватывающего прямоугольника 508 может быть ближе к положению истинного, но неизвестного, охватывающего объекта прямоугольника 210, чем положение третьего оцениваемого охватывающего прямоугольника 408.

[0036] Фиг. 6 представляет собой описанную относительно Фиг. 1-5 блок-схему процесса 600 управления транспортным средством 110 на основании определяемого объекта, например, как описано выше. Процесс 600 может быть реализован с помощью процессора вычислительного устройства 115, принимающего в качестве ввода информацию от датчиков 116 и выполняющего инструкции и отправляющего управляющие сигналы через контроллеры 112, 113, 114, например. Процесс 600 включает в себя несколько этапов, выполняемых в раскрытом порядке. Процесс 600 также включает в себя варианты реализации, включающие в себя меньшее количество этапов, или может включать в себя выполнение этапов в другом порядке.

[0037] Процесс 600 начинается на этапе 602, на котором вычислительное устройство 115 определяет первый объект на основании первого множества точек 206 трехмерных данных объектов. Первый объект может быть определен путем определения параметров первого оцениваемого охватывающего прямоугольника 208 с использованием основанного на правилах подхода, который определяет параметры для первого охватывающего прямоугольника 208, сначала выбирая начальное положение для первого охватывающего прямоугольника 208, а затем итеративно регулируя ортогональные пары параллельных линий до минимального размера, требуемого для охвата максимального количества точек 206 трехмерных данных объектов, при этом не охватывая точки 204 трехмерных данных фона, как описано выше относительно Фиг. 2. Вычислительное устройство 115 также может определять начальное положение путем предварительного определения параметров модели для первой итерации, как описано выше относительно Фиг. 2.

[0038] На этапе 604 вычислительное устройство 115 определяет второй объект путем определения параметров второго оцениваемого охватывающего прямоугольника 308 на основании максимизации распределений совместных байесовских вероятностей на основании второго множества точек 306 трехмерных данных объектов и первого оцениваемого охватывающего прямоугольника 208, как описано выше относительно Фиг. 3 и в разделе под названием «Оценка ограничивающих прямоугольников».

[0039] На этапе 606 вычислительное устройство 115 управляет транспортным средством 110 на основании второго объекта, определяемого на этапе 604. Вычислительное устройство может определять более одного объекта в поле зрения лидарного датчика 202 путем максимизации распределений совместных байесовских вероятностей с использованием методов, описанных в одновременно находящейся на рассмотрении заявке XX/XXX,XXX под названием “OBJECT TRACKING BY UNSUPERVISED LEARNING” того же автора и заявителя, что и данная заявка, и включённой в данный документ в полном объёме путем ссылки. Вычислительное устройство 115 может управлять транспортным средством 110 путем прогнозирования путей объектов в поле зрения лидарного датчика 202, а затем планирования пути транспортного средства 110 для достижения заданного местоположения, при этом избегая этих объектов. Процесс 600 заканчивается после блока 606.

[0040] Таким образом, процесс 600 описывает процесс, посредством которого вычислительное устройство 115 может получать точки 206 трехмерных данных первого объекта с использованием лидарного датчика 202, определять первый объект на основании точек трехмерных данных первого объекта, получать точки 306 трехмерных данных второго объекта с использованием лидарного датчика 202 и определять второй объект в поле зрения лидарного датчика 202 на основании первого объекта и точек трехмерных данных второго объекта и перемещать транспортное средство 110 в заданное местоположение, при этом избегая этого объекта на основании определяемого второго объекта.

[0041] Фиг. 7 представляет собой описанную относительно Фиг. 1-5 блок-схему процесса 700 определения оцениваемого охватывающего прямоугольника на основании точек трехмерных данных и предварительно оцениваемых охватывающих прямоугольников, например, как описано выше. Процесс 700 может быть реализован с помощью процессора вычислительного устройства 115, принимающего в качестве ввода информацию от датчиков 116 и выполняющего инструкции и отправляющего управляющие сигналы через контроллеры 112, 113, 114, например. Процесс 700 включает в себя несколько этапов, выполняемых в раскрытом порядке. Процесс 700 также включает в себя реализации, включающие в себя меньшее количество этапов, или может включать в себя выполнение этапов в другом порядке.

[0042] Процесс 700 начинается на этапе 702, на котором вычислительное устройство 115 сравнивает получаемые точки трехмерных данных с ранее полученными точками трехмерных данных для определения точек трехмерных данных фона и точек трехмерных данных объектов, как описано выше относительно Фиг. 2. На этапе 704 вычислительное устройство образует распределения совместных байесовских вероятностей, обусловленные для каждой точки трехмерных данных объекта для каждого объекта, обусловленной результатами предыдущего временного этапа, как описано выше относительно Фиг. 3 и в приложении A.

[0043] На этапе 706 вычислительное устройство образует сетку 3×3, выровненную с охватывающим прямоугольником, оцениваемым на предыдущем временном этапе, как показано в таблице 1 раздела под названием «Оценка ограничивающих прямоугольников», причем распределения совместных байесовских вероятностей точек трехмерных данных объектов вычисляются в соответствии с вероятностями принадлежности к классу, причем точки трехмерных данных объектов в пределах оцениваемого охватывающего прямоугольника принадлежать к классу 1, а точки трехмерных данных объектов, встречающиеся снаружи оцениваемого охватывающего прямоугольника, принадлежат к классам 2-9.

[0044] На этапе 708 оцениваемая прямоугольная граница определяется путем максимизации распределений совместных байесовских вероятностей точек трехмерных данных объектов, обусловленных предыдущей оцениваемой прямоугольной границей в соответствии с вероятностями принадлежности к классу на решетке 3×3, как описано в разделе под названием «Оценка ограничивающих прямоугольников», и на этапе 710 вычислительное устройство 115 может выводить оцениваемые прямоугольные границы в процесс, такой как процесс 600, для управления транспортным средством 110, например. Процесс 700 заканчивается после блока 708.

[0045] Таким образом, процесс 700 представляет собой процесс для сравнения точек трехмерных данных с ранее полученными точками для определения точек трехмерных данных объектов, образуя распределения совместных байесовских вероятностей на основании точек трехмерных данных объектов, обусловленных предварительно оцениваемым охватывающим прямоугольником на сетке 3×3, и оценивая новый охватывающий прямоугольник на основании точек трехмерных данных объектов и предварительно оцениваемого охватывающего прямоугольника, и выводя новый оцениваемый охватывающий прямоугольник.

ОЦЕНКА ОГРАНИЧИВАЮЩИХ ПРЯМОУГОЛЬНИКОВ

[0046] Распределения p вероятностей векторов случайных переменных B, C_k, представляющих собой параметры, связывающие точки трехмерных данных на временном этапе k с охватывающими прямоугольниками, и случайной переменной , представляющей собой параметры, связанные с охватывающими прямоугольниками на временном этапе k, могут быть оценены с использованием байесовского вывода, чтобы обусловить распределения p вероятностей по текущим и предыдущим наблюдениям, представленным вектором случайных переменных Z_1:k, представляющих собой параметры, связанные с охватывающими прямоугольниками, с помощью уравнений:

(5),

(6),

(7),

где представляет собой вероятность измерения на временном этапе k, представляет собой размер прямоугольника на предыдущем временном этапе, и представляет собой модель стохастического процесса, которая моделирует совместную байесовскую вероятность точки трехмерных данных и параметры охватывающего прямоугольника на временном этапе k и k-1, обусловленные размером прямоугольника и параметрами, связанными с охватывающими прямоугольниками с предыдущих временных этапов. Эти факторы нормализуются путем деления на предельной вероятности данных охватывающих прямоугольников на временном этапе k.

[0047] Фокусируясь на вероятности измерения, мы сначала предполагаем, что каждая точка данных независима, согласно уравнениям:

(8),

(9),

где символ означает «статически независим от», что означает, что максимальная вероятность модели может быть вычислена как:

(10),

где оператор означает «произведение распределения байесовских вероятностей» в этом случае по точкам l трехмерных данных от 1 до n_Z, количество точек трехмерных данных. Отбрасывая обозначение (k) временного этапа для краткости, смотрим на каждую точку трехмерных данных независимо, приближаясь к каждой точке трехмерных данных с точки зрения классификации, где два набора параллельных линий (граница 1, граница 2 и граница 3, граница 4), расположенные ортогонально в виде ограничивающего прямоугольника, образуют сетку, показанную в таблице 1:

Класс 6 Калсс 3 Калсс 9 Калсс 4 Калсс 1 Калсс 5 Граница 3 Калсс 8 Калсс 2 Калсс 7 Граница 4 Граница 2 Граница 1

Таблица 1. Классы и границы ограничивающих прямоугольников.

[0048] В локальных координатах граничными условиями для класса 1 являются:

(11),

где

(12),

(13),

и, где строка 1 массива (A7)=слева от границы 1, строка 2 массива (A7)=справа от границы 2, строка 3 массива (A7)=ниже границы 3, а строка 4 массива (A7)=выше границы 4. Классы могут быть определены с точки зрения этих границ по уравнению:

(14),

где

(15),

и

(16),

где строки матрицы 9×2 представляют собой классы 1-9 сверху вниз соответственно.

«Мягкие» границы могут быть определены с использованием логистической/многопеременной функции:

(17),

где:

(18),

и

(19).

[0049] Далее предположим, что многопеременная функция точно помечает объект (например, класс 1) или нет (например, класс 2-9). Это мотивирует образование «суперкласса», соответствующего объединению всех классов>1.

(20),

(21).

[0050] Возвращаясь к вычислению максимальной вероятности модели и подставляя, получаем:

(22).

[0051] На этой стадии существует два варианта вычисления максимальной вероятности:

1. Берется прогноз EKF (расширенный фильтр Калмана) в качестве . Отметим, что в этом случае распределения предельных апостериорных вероятностей по не могут использоваться в EKF как наблюдение, поскольку это было бы смешением.

2. Предполагаются равномерные/неинформативные/размытые априорные распределения предельных апостериорных вероятностей по . Затем могут использоваться распределения предельных постериорных вероятностей как наблюдение при вычислении EKF.

[0052] Предполагаем вариант 2:

(23).

Добавляем метки кластеризации (объекта) к обозначению:

(24),

отметим, что =1-=1-. Повторяем уравнение 20 с использованием этого обозначения:

(25),

берем натуральный логарифм:

(26).

[0053] Далее вычисляется градиент. Сначала, пусть:

=набор параметров модели (27)

и

(28),

где зависит от формы полярности и может быть установлен так, чтобы он был «таким же большим», каким он был на предыдущем временном этапе.

[0054] Продолжаем выведение:

(29),

(30),

подставляем:

(31),

где:

(32),

[0055] Затем по правилу частного:

(33)

и по цепному правилу:

(34),

(35)

и

(36),

(37),

где , и . Подставляя 33 в 31 и подставляя результат в 29 и упрощая, получаем:

(38),

и подставляя для :

(39),

[0056] Подставляем обратно в градиент логарифмических правдоподобий и отменяем :

(40),

где:

(41),

[0057] может быть вычислено как:

(42),

(43),

(44),

(45),

(46),

(47),

(48),

где:

(49),

(50),

(51),

(52),

(53),

и разность = вычисляется как:

(54),

(55),

(56),

(57),

(58),

(59),

[0058] Таким образом, максимизируемая функция логарифмических правдоподобий:

(60)

и ее градиент:

(61),

где:

(62)

и:

(63),

[0059] Далее - параметр настройки, прямо пропорциональный «резкости» многопеременной функции, где:

измеренная вероятность того, что точка произошла от объекта,

1-измеренная вероятность того, что точка не произошла от объекта, и

=отношение вероятностей того, что точка находится на/снаружи объекта.

[0060] Градиент может использоваться для максимизации функции логарифмических правдоподобий путем нахождения гессиана:

(64),

где:

, (65),

[0061] Используем правило умножения для выражения в формате знаменателя:

(66),

[0062] Далее используем правило частного:

(67),

(68),

подставляем обратно в (66):

(69),

и

= (70),

что по правилу частного равняется:

(71),

где:

(72),

что может быть подставлено в (71):

(73),

и

(74),

где:

(75),

что может быть подставлено обратно в (74):

(76),

и подставляя обратно в (70):

(77),

получаем:

(78),

что представляет собой искомую форму гессиана. может быть вычислено как:

(79),

(80),

(81),

(82),

(83),

(84),

(85),

(86),

(87).

[0063] Каждое из вычислительных устройств, таких как описанные в данном документе, в общем включает себя инструкции, выполняемые одним или более вычислительными устройствами, такими как указанные выше, и служащие для выполнения блоков или этапов процессов, описанных выше. Например, блоки процесса, описанные выше, могут быть реализованы в виде машиноисполняемых инструкций.

[0064] Машиноисполняемые инструкции могут компилироваться или интерпретироваться на основании компьютерных программ, создаваемых с использованием множества языков и/или технологий программирования, включающих в себя, без ограничения, и по отдельности или в сочетании Java™, C, C++, Visual Basic, Java Script, Perl, HTML и т.д. В общем процессор (например, микропроцессор) принимает инструкции, например, из памяти, считываемого компьютером носителя и т.д., и выполняет эти инструкции, тем самым выполняя один или более процессов, включающих в себя один или более из процессов, описанных в данном документе. Такие инструкции и другие данные могут храниться в файлах и передаваться с использованием множества считываемых компьютером носителей. Файл в вычислительном устройстве в общем представляет собой набор данных, хранящихся на считываемом компьютером носителе, таком как носитель данных, память с произвольным доступом и т.д.

[0065] Машиночитаемый носитель включает в себя любой носитель, который участвует в обеспечении данных (например, инструкций), которые могут быть считаны компьютером. Такой носитель может принимать многие формы, включающие в себя, не ограничиваясь, энергонезависимые носители, энергозависимые носители и т.д. Энергонезависимые носители включают в себя, например, оптические или магнитные диски и другую постоянную память. Энергозависимые носители включают в себя динамическую память с произвольным доступом (DRAM), которая обычно образует основную память. Общие формы машиночитаемых носителей включают в себя, например, флоппи-диск, гибкий диск, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфокарты, бумажную ленту, любой другой физический носитель со схемами отверстий, RAM, PROM, EPROM, FLASH-EEPROM, любую другую микросхему или картридж памяти или любой другой носитель, с которого компьютер может считывать.

[0066] Подразумевается, что всем понятиям, используемым в формуле изобретения, приданы их в простые и общепринятые значения, понятные специалисту в данной области техники, если в данном документе не содержится явное указание на обратное. В частности, использование форм единственного числа и выражения «упомянутый» следует понимать как упоминание одного или более из обозначенных элементов, если в формуле изобретения не содержится явное указание на обратное.

[0067] Выражение «примерный» используется в данном документе в смысле обозначения примера, например, упоминание «примерного виджета» следует понимать лишь как упоминание примера виджета.

[0068] Наречие «приблизительно», изменяющее значение или результат, означает, что форма, структура, измерение, значение, определение, вычисление и т.д. могут отклоняться от точно описанной геометрии, расстояния, измерения, значения, определения, вычисления и т.д. вследствие несовершенства материалов, обработки, изготовления, измерений датчиков, вычислений, времени обработки, времени связи и т.д.

[0069] На чертежах одинаковые ссылочные позиции обозначают одинаковые элементы. Кроме того, некоторые или все из этих элементов могут быть изменены. В отношении носителей, процессов, систем, способов и т.д., описанных в данном документе, следует понимать, что при том, что этапы таких процессов и т.д. были описаны как происходящие согласно определенной упорядоченной последовательности, такие процессы могут быть применены на практике с выполнением описанных этапов в порядке, отличном от порядка, описанного в данном документе. Следует также понимать, что некоторые этапы могут быть выполнены одновременно, что могут быть добавлены другие этапы, или что некоторые этапы, описанные в данном документе, могут быть пропущены. Другими словами, описание процессов в данном документе приведено с целью иллюстрации определенных вариантов выполнения, и никоим образом не должно истолковываться как ограничивающее заявленное изобретение.

Изобретение относится к системам безопасности транспортного средства. Способ управления транспортным средством с учётом окружающих объектов содержит этапы, на которых принимают первое и второе множества точек трёхмерных данных в соответствующие первый и второй моменты времени, определяют первую прямоугольную границу для объекта из первого множества точек трехмерных данных, определяют вторую прямоугольную границу с центром на объекте на основании совместных вероятностей точек в первой прямоугольной границе и точек во втором множестве точек трёхмерных данных и управляют транспортным средством на основании объекта. Достигается повышение безопасности управления транспортным средством. 2 н. и 18 з.п. ф-лы, 8 ил.

1. Способ управления транспортным средством с учётом окружающих объектов, содержащий этапы, на которых:

принимают первое и второе множества точек трёхмерных данных в соответствующие первый и второй моменты времени;

определяют первую прямоугольную границу для объекта из первого множества точек трехмерных данных;

определяют вторую прямоугольную границу с центром на объекте на основании совместных вероятностей точек в первой прямоугольной границе и точек во втором множестве точек трёхмерных данных; и

управляют транспортным средством на основании объекта.

2. Способ по п. 1, в котором точки трехмерных данных определяют посредством лидара.

3. Способ по п. 1, в котором определение объекта включает в себя этап, на котором определяют местоположение, положение и размер первой прямоугольной границы и второй прямоугольной границы.

4. Способ по п. 1, в котором определение объекта включает в себя этап, на котором сравнивают первые точки трехмерных данных с ранее полученными точками трехмерных данных для определения точек данных объекта и точек данных фона.

5. Способ по п. 4, в котором первую прямоугольную границу и вторую прямоугольную границу определяют путем максимизации совместных вероятностей точек данных объекта относительно точек данных фона.

6. Способ по п. 5, в котором максимизация совместных вероятностей определяет сетку 3×3 с центром на точках данных объекта, причем центральная ячейка сетки 3×3 включает в себя одну или более точек данных объекта и не включает в себя точки данных фона.

7. Способ по п. 6, в котором первую прямоугольную границу определяют как центральную ячейку решетки 3×3 и используют как начальную точку для определения второй прямоугольной границы на основании совместных вероятностей.

8. Способ по п. 7, в котором совместные вероятности представляют собой байесовские вероятности, при этом вероятность того, что точка данных объекта принадлежит объекту, обусловлена вероятностью того, что точка данных объекта принадлежала объекту на предыдущем временном этапе.

9. Способ по п. 8, в котором определяют максимальную вероятность путем максимизации натуральных логарифмов совместных вероятностей.

10. Способ по п. 9, в котором совместные вероятности максимизируют путем определения градиентов натуральных логарифмов каждой из совместных вероятностей.

11. Устройство для управления транспортным средством с учётом окружающих объектов, содержащее:

процессор;

память, причем память хранит инструкции, выполняемые процессором, для

приёма первого и второго множеств точек трёхмерных данных в соответствующие первый и второй моменты времени;

определения первой прямоугольной границы для объекта из первого множества точек трехмерных данных;

определения второй прямоугольной границы с центром на объекте на основании совместных вероятностей точек в первой прямоугольной границе и точек во втором множестве точек трехмерных данных; и

управления транспортным средством на основании объекта.

12. Устройство по п. 11, в котором точки трехмерных данных определяются посредством лидара.

13. Устройство по п. 11, в котором определение объекта включает в себя определение местоположения, положения и размера первой прямоугольной границы и второй прямоугольной границы.

14. Устройство по п. 11, в котором определение объекта включает в себя сравнение первых точек трехмерных данных с ранее полученными точками трехмерных данных для определения точек данных объекта и точек данных фона.

15. Устройство по п. 14, в котором первая прямоугольная граница и вторая прямоугольная граница определяются путем максимизации совместных вероятностей точек данных объекта относительно точек данных фона.

16. Устройство по п. 15, в котором максимизация совместных вероятностей определяет сетку 3×3 с центром на точках данных объекта, причем центральная ячейка сетки 3×3 включает в себя одну или более точек данных объекта и не включает в себя точки данных фона.

17. Устройство по п. 16, в котором первая прямоугольная граница определяется как центральная ячейка решетки 3×3 и используется как начальная точка для определения второй прямоугольной границы на основании совместных вероятностей.

18. Устройство по п. 17, в котором совместные вероятности представляют собой байесовские вероятности, причём вероятность того, что точка данных объекта принадлежит объекту, обусловлена вероятностью того, что точка данных объекта принадлежала объекту на предыдущем временном этапе.

19. Устройство по п. 18, в котором определяется максимальная вероятность путем максимизации натуральных логарифмов совместных вероятностей.

20. Устройство по п. 19, в котором совместные вероятности максимизируются путем определения градиентов натуральных логарифмов каждой из совместных вероятностей.