Способ и система для определения траектории автономного транспортного средства Российский патент 2024 года по МПК B60W60/00 G08G1/16 G06N3/02 G06V10/82 

Область техники, к которой относится изобретение

[001] Настоящая технология относится к навигации беспилотных автомобилей в целом, и, в частности, к способу и системе для определения траектории беспилотного автомобиля.

Уровень техники

[002] Полностью автоматизированные и автоматизированные в высокой степени системы вождения способны управлять транспортным средством на дороге без участия водителя (например, в автономном режиме) или применения другого внешнего управления. Например, беспилотные и/или автономные транспортные средства рассчитаны на компьютеризированное управление.

[003] Автономное транспортное средство (например, беспилотный автомобиль (SDC, Self-Driving Car), робот-доставщик, складской робот и т.п., но не ограничиваясь ими) способно двигаться по запланированному маршруту между текущим положением и целевым будущим положением без участия (или с минимальным участием) водителя. Для этого беспилотный автомобиль может быть подключен ко множеству датчиков, обеспечивающих «восприятие» им окружающего пространства. Например, беспилотный автомобиль в том или ином варианте реализации может содержать одну или несколько камер, один или несколько лидаров и один или несколько радиолокаторов. Кроме того, беспилотный автомобиль может иметь доступ к трехмерной карте для определения своего местоположения в пространстве.

[004] Одной из технических проблем, связанных с беспилотными автомобилями, является обеспечение их способности прогнозировать или иным образом определять траектории движения других участников дорожного движения (например, других транспортных средств), движущихся в окружающем пространстве беспилотного автомобиля, в частности, по соседним полосам. Когда то или иное транспортное средство, движущееся, в частности, перед беспилотным автомобилем по соседней полосе, собирается совершить маневр (например, поворот налево или направо), его траектория может совпасть и/или пересечься (по меньшей мере частично) с траекторией беспилотного автомобиля, в результате чего может возникнуть высокий риск столкновения между беспилотным автомобилем и одним из других транспортных средств (включая указанное) в окружающем пространстве. Следовательно, беспилотному автомобилю может потребоваться принятие упреждающих мер, таких как торможение или ускорение, чтобы траектория беспилотного автомобиля сводила к минимуму риск дорожно-транспортного происшествия.

[005] Как правило, беспилотный автомобиль способен определять свою траекторию с учетом объектов, расположенных в текущем окружающем пространстве беспилотного автомобиля. Для этого, например, процессор беспилотного автомобиля может (а) получать данные измерений (например, лидарные данные), содержащие информацию об окружающем пространстве беспилотного автомобиля, и (б) на основе данных этих измерений с использованием алгоритма машинного обучения для обнаружения объектов определять местоположение и классы объектов (например, транспортное средство, пассажир, уличный фонарь и т.п.) в окружающем пространстве беспилотного автомобиля. Кроме того, на основе обнаруженных таким способом объектов в окружающем пространстве беспилотного автомобиля и/или их классов процессор может формировать траекторию беспилотного автомобиля. Например, процессор может формировать траекторию таким образом, чтобы беспилотный автомобиль избегал столкновений с внешними объектами.

[006] Класс объектов может включать в себя характерные признаки объектов. Например, к характерным признакам объекта для того или иного транспортного средства могут относиться, среди прочего, тип объекта (например, подвижный объект), тип подвижного объекта (например, транспортное средство), марка транспортного средства, тип кузова транспортного средства, год выпуска транспортного средства, габаритные размеры транспортного средства и т.п.

[007] Вместе с тем, определение всех характерных признаков каждого из объектов в окружающем пространстве беспилотного автомобиля при каждом формировании процессором новой траектории беспилотного автомобиля (например, при совершении маневра) может оказаться для процессора весьма ресурсоемкой задачей с точки зрения объема вычислений.

[008] В известных технических решениях был предложен ряд способов для решения вышеуказанной технической проблемы.

[009] В патенте US11215999B2 «Data pipeline and deep learning system for autonomous driving» («Конвейер обработки данных и система глубокого обучения для обеспечения автономного вождения», выдан 04.01.2022, Tesla Inc.) раскрыт способ получения изображения, сформированного с использованием датчика на транспортном средстве, и его последующего разложения на множество составных частей. Для получения необходимого результата каждая составная часть из множества составных частей изображения представляется в качестве входных данных для некоторого отдельного слоя из множества слоев искусственной нейронной сети. Результат работы искусственной нейронной сети используется, по меньшей мере частично, для управления транспортным средством в автономном режиме.

[0010] В патентной заявке US2022044114A1 «Hybrid quantization of neural networks for edge computing applications» («Гибридное квантование нейронных сетей для решения задач периферийных вычислений», опубликована 10.02.2022, Nvidia Corp.) раскрыты устройства, системы и методы использования грубого квантования для обучения нейронной сети. В по меньшей мере одном варианте осуществления один или несколько весов в обученной модели представляются в виде целых чисел малой разрядности, а не в виде чисел с плавающей запятой, обеспечивающих максимальную точность. Изменение точности одного или нескольких весов обеспечивается за счет первого квантования всех весов и активации нейронной сети при формировании первой обученной модели, за исключением слоев, для которых недостаточна степень детализации представления, обеспечиваемая 8-битным квантованием. Затем точность одного или нескольких весов первой обученной модели изменяется еще раз, чтобы сформировать вторую обученную модель. Для второй обученной модели изменяется точность одного или нескольких весов по меньшей мере одного дополнительного слоя в дополнение к тем слоям, значения точности которых уже были изменены в процессе обучения нейронной сети при формировании первой обученной модели.

[0011] В патентной заявке US2022188608A1 «Techniques for optimizing neural networks» («Методы оптимизации нейронных сетей», опубликована 16.06.2022, Nvidia Corp.) раскрыты устройства, системы и методы кэширования и повторного использования данных для нейронной сети. В по меньшей мере одном варианте осуществления данные, формируемые одним или несколькими слоями нейронной сети, кэшируются и повторно используются нейронной сетью.

[0012] В патентной заявке US2022180178A1 «Neural network scheduler» («Диспетчер нейронной сети», опубликована 09.06.2022, Nvidia Corp.) раскрыты устройства, системы и способы распределения вычислительных ресурсов для выполнения логических выводов. В по меньшей мере одном варианте осуществления одна или несколько нейронных сетей обеспечивают определение вычислительных ресурсов с учетом, по меньшей мере частично, требований к работе одной или нескольких нейронных сетей при выполнении логических выводов.

[0013] В патентной заявке US2022058466A1 «Optimized neural network generation» («Формирование оптимизированной нейронной сети», опубликована 24.02.2022, Nvidia Corp.) раскрыты устройства, системы и способы формирования оптимизированной архитектуры нейронной сети. В по меньшей мере одном варианте осуществления формируется одна или несколько конфигураций нейронной сети с использованием различных компонентов нейронной сети и в каждой конфигурации выполняется обучение нейронной сети, чтобы определить оптимальную архитектуру нейронной сети для обучающего набора данных.

Раскрытие изобретения

[0014] Таким образом, существует потребность в системах и способах, позволяющих исключить, уменьшить или преодолеть недостатки известных технических решений.

[0015] Разработчики настоящей технологии учли, что точность обнаружения объектов можно оптимизировать в зависимости от текущей доступности вычислительных ресурсов процессора. В частности, был разработан конвейер для обнаружения объектов, содержащий множество моделей машинного обучения, каждая из которых способна обнаруживать объекты в окружающем пространстве беспилотного автомобиля с меньшей точностью в сравнении с любой последующей моделью машинного обучения. В частности, такая модель машинного обучения способна определять меньшее количество характерных признаков объекта в окружающем пространстве беспилотного автомобиля в сравнении со следующей по порядку моделью машинного обучения.

[0016] Таким образом, при построении траектории беспилотного автомобиля процессор может сначала передавать данные измерений, характеризующие окружающее пространство, в первую модель машинного обучения из множества моделей машинного обучения, обеспечивая формирование первой моделью первого (грубого) прогноза для заданного объекта. Далее, в зависимости от времени, затраченного первой моделью машинного обучения на формирование первого прогноза, которое характеризует текущую доступность вычислительных ресурсов, процессор способен либо (а) обеспечивать формирование второй моделью машинного обучения, следующей за первой моделью машинного обучения, второго, более точного, прогноза для этого объекта, либо (б) приступать к построению траектории на основе первого прогноза.

[0017] Соответственно, некоторые не имеющие ограничительного характера варианты осуществления настоящей технологии позволяют повышать эффективность и точность планирования движения беспилотного автомобиля в условиях ограниченности вычислительных ресурсов.

[0018] В частности, в соответствии с одним широким аспектом настоящей технологии реализован компьютерный способ планирования движения беспилотного автомобиля. Беспилотный автомобиль оснащен множеством датчиков, способных формировать данные измерений, характеризующие окружающее пространство беспилотного автомобиля. Беспилотный автомобиль связан с процессором, способным выполнять множество моделей машинного обучения для обнаружения объектов в окружающем пространстве беспилотного автомобиля. Множество моделей машинного обучения последовательно соединены друг с другом таким образом, что выход первой модели машинного обучения из множества моделей машинного обучения служит входом для второй модели машинного обучения, следующей непосредственно за первой моделью машинного обучения во множестве моделей машинного обучения. Каждая из множества моделей машинного обучения обучена обнаружению объектов в окружающем пространстве беспилотного автомобиля на основе характеризующих его данных измерений. Последующая модель машинного обучения способна обнаруживать объекты с соответствующим значением метрики точности обнаружения объектов. Значение метрики точности обнаружения объектов, связанное с последующей моделью машинного обучения, превышает значения, связанные с моделями машинного обучения из множества моделей машинного обучения, предшествующими этой последующей модели машинного обучения. Способ предусматривает получение данных измерений, характеризующих окружающее пространство беспилотного автомобиля, передачу данных измерений во множество моделей машинного обучения, включая передачу данных измерений в первую модель машинного обучения для формирования первой моделью машинного обучения первого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе первого прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, превышает первый заданный порог времени, назначенный первой модели машинного обучения для формирования первого прогноза, и передачу первого прогноза вместе с данными измерений во вторую модель машинного обучения для формирования второй моделью машинного обучения второго прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе второго прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, равно первому заданному порогу времени или меньше него.

[0019] В некоторых вариантах реализации способа первое время, затрачиваемое на формирование первого прогноза, характеризует текущую доступность вычислительных ресурсов процессора беспилотного автомобиля.

[0020] В некоторых вариантах реализации способа он дополнительно предусматривает обучение каждой из множества моделей машинного обучения путем формирования обучающего набора данных, содержащего множество обучающих цифровых объектов, каждый из которых включает в себя (а) обучающие данные измерений, характеризующие обучающее окружающее пространство беспилотного автомобиля, и (б) метку, представляющую класс объектов и местоположение по меньшей мере одного обучающего объекта в обучающем окружающем пространстве беспилотного автомобиля, путем передачи обучающих данных во множество моделей машинного обучения, включая передачу обучающих данных в первую модель машинного обучения из множества моделей машинного обучения, передачу процессором в последующую модель машинного обучения, следующую за первой моделью машинного обучения, (а) обучающих данных и (б) обучающего прогноза, сформированного моделью машинного обучения, предшествующей этой последующей модели, а также путем оптимизации для каждой из множества моделей машинного обучения расхождения между обучающим прогнозом и соответствующей меткой с целью обучения каждой из множества моделей машинного обучения обнаружению объектов в окружающем пространстве беспилотного автомобиля.

[0021] В некоторых вариантах реализации способа он дополнительно предусматривает передачу второго прогноза вместе с данными измерений в третью модель машинного обучения из множества моделей машинного обучения, следующую за второй моделью машинного обучения, для формирования третьей моделью машинного обучения третьего прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе третьего прогноза, если второе время, затрачиваемое на формирование второго прогноза второй моделью машинного обучения, равно второму заданному порогу времени, назначенному второй модели машинного обучения для формирования второго прогноза, или меньше него.

[0022] В некоторых вариантах реализации способа он дополнительно предусматривает передачу прогноза вместе с данными измерений в очередную последующую модель машинного обучения из множества моделей машинного обучения, следующую за данной последующей моделью машинного обучения для формирования очередной последующей моделью машинного обучения другого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе прогноза, сформированного очередной последующей моделью машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, равно заданному порогу времени, назначенному модели машинного обучения для формирования этого прогноза, или меньше него, и планирование движения беспилотного автомобиля на основе соответствующего прогноза, сформированного моделью машинного обучения, непосредственно предшествующей данной последующей модели машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, превышает заданный порог времени, назначенный модели машинного обучения для формирования этого прогноза.

[0023] В некоторых вариантах реализации способа значение метрики точности обнаружения объектов характеризует количество признаков объекта, определяемых в соответствующей модели машинного обучения.

[0024] В некоторых вариантах реализации способа метрика точности обнаружения объектов представляет собой метрику средней точности.

[0025] В некоторых вариантах реализации способа модель из множества моделей машинного обучения представляет собой нейронную сеть.

[0026] В некоторых вариантах реализации способа последующая модель из множества моделей машинного обучения способна определять больше признаков по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля, чем любая модель машинного обучения, предшествующая этой последующей модели машинного обучения.

[0027] В некоторых вариантах реализации способа данная модель машинного обучения из множества моделей машинного обучения содержит больше слоев, чем любая модель машинного обучения, предшествующая этой данной модели машинного обучения.

[0028] В некоторых вариантах реализации способа планирование движения беспилотного автомобиля предусматривает построение траектории беспилотного автомобиля.

[0029] В некоторых вариантах реализации способа планирование движения беспилотного автомобиля предусматривает определение параметров движения беспилотного автомобиля, в том числе расстояния перемещения, скорости и/или ускорения беспилотного автомобиля в заданный момент времени в будущем.

[0030] В соответствии с другим широким аспектом настоящей технологии реализована система для планирования движения беспилотного автомобиля. Беспилотный автомобиль оснащен множеством датчиков, способных формировать данные измерений, характеризующие окружающее пространство беспилотного автомобиля. Система содержит по меньшей мере один процессор, связанный с беспилотным автомобилем и способный выполнять множество моделей машинного обучения для обнаружения объектов в окружающем пространстве беспилотного автомобиля. Множество моделей машинного обучения последовательно соединены друг с другом таким образом, что выход первой модели машинного обучения из множества моделей машинного обучения служит входом для второй модели машинного обучения, следующей непосредственно за первой моделью машинного обучения во множестве моделей машинного обучения. Каждая из множества моделей машинного обучения обучена обнаружению объектов в окружающем пространстве беспилотного автомобиля на основе характеризующих его данных измерений. Последующая модель машинного обучения способна обнаруживать объекты с соответствующим значением метрики точности обнаружения объектов. Значение метрики точности обнаружения объектов, связанное с последующей моделью машинного обучения, превышает значения, связанные с моделями машинного обучения из множества моделей машинного обучения, предшествующими этой последующей модели машинного обучения. Система дополнительно содержит по меньшей мере одну физическую машиночитаемую память, хранящую исполняемые команды, при исполнении которых по меньшей мере одним процессором в системе обеспечиваются: получение данных измерений, характеризующих окружающее пространство беспилотного автомобиля, передача данных измерений во множество моделей машинного обучения, включая передачу данных измерений в первую модель машинного обучения для формирования первой моделью машинного обучения первого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе первого прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, превышает первый заданный порог времени, назначенный первой модели машинного обучения для формирования первого прогноза, и передачу первого прогноза вместе с данными измерений во вторую модель машинного обучения для формирования второй моделью машинного обучения второго прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе второго прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, равно первому заданному порогу времени или меньше него.

[0031] В некоторых вариантах реализации системы первое время, затрачиваемое на формирование первого прогноза, характеризует текущую доступность вычислительных ресурсов процессора беспилотного автомобиля.

[0032] В некоторых вариантах реализации системы по меньшей мере один процессор дополнительно обеспечивает в системе обучение каждой из множества моделей машинного обучения путем формирования обучающего набора данных, содержащего множество обучающих цифровых объектов, каждый из которых включает в себя (а) обучающие данные измерений, характеризующие обучающее окружающее пространство беспилотного автомобиля, и (б) метку, представляющую класс объектов и местоположение по меньшей мере одного обучающего объекта в обучающем окружающем пространстве беспилотного автомобиля, путем передачи обучающих данных во множество моделей машинного обучения, включая передачу обучающих данных в первую модель машинного обучения из множества моделей машинного обучения, передачу процессором в последующую модель машинного обучения, следующую за первой моделью машинного обучения, (а) обучающих данных и (б) обучающего прогноза, сформированного моделью машинного обучения, предшествующей этой последующей модели, а также оптимизации для каждой из множества моделей машинного обучения расхождения между обучающим прогнозом и соответствующей меткой с целью обучения каждой из множества моделей машинного обучения обнаружению объектов в окружающем пространстве беспилотного автомобиля.

[0033] В некоторых вариантах реализации системы по меньшей мере один процессор дополнительно обеспечивает в системе передачу второго прогноза вместе с данными измерений в третью модель машинного обучения из множества моделей машинного обучения, следующую за второй моделью машинного обучения, для формирования третьей моделью машинного обучения третьего прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе третьего прогноза, если второе время, затрачиваемое на формирование второго прогноза второй моделью машинного обучения, равно второму заданному порогу времени, назначенному второй модели машинного обучения для формирования второго прогноза, или меньше него.

[0034] В некоторых вариантах реализации системы по меньшей мере один процессор дополнительно обеспечивает в системе передачу прогноза вместе с данными измерений в очередную последующую модель машинного обучения из множества моделей машинного обучения, следующую за данной последующей моделью машинного обучения для формирования очередной последующей моделью машинного обучения другого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе прогноза, сформированного очередной последующей моделью машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, равно заданному порогу времени, назначенному модели машинного обучения для формирования этого прогноза, или меньше него, и планирование движения беспилотного автомобиля на основе прогноза, сформированного моделью машинного обучения, непосредственно предшествующей данной последующей модели машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, превышает заданный порог времени, назначенный модели машинного обучения для формирования этого прогноза.

[0035] В некоторых вариантах реализации системы значение метрики точности обнаружения объектов характеризует количество признаков объекта, определяемых в соответствующей модели машинного обучения.

[0036] В некоторых вариантах реализации системы метрика точности обнаружения объектов представляет собой метрику средней точности.

[0037] В некоторых вариантах реализации системы модель из множества моделей машинного обучения представляет собой нейронную сеть.

[0038] В некоторых вариантах реализации системы последующая модель из множества моделей машинного обучения способна определять больше признаков по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля, чем любая модель машинного обучения, предшествующая этой последующей модели машинного обучения.

[0039] В некоторых вариантах реализации системы данная модель машинного обучения из множества моделей машинного обучения содержит больше слоев, чем любая модель машинного обучения, предшествующая этой данной модели машинного обучения.

[0040] В контексте данного описания термин «источник света» в широком смысле относится к любому устройству, способному испускать излучение, в частности, передавать сигнал в виде луча, например, светового луча с одной или несколькими длинами волн в спектре электромагнитного излучения, но не ограничиваясь этим. В одном примере осуществления источником света может быть «лазерный источник». Таким образом, источник света может содержать лазер, например, твердотельный лазер, лазерный диод, лазер высокой мощности, или альтернативный источник света, например, источник света на основе светоизлучающих диодов. Некоторыми (не имеющими ограничительного характера) примерами лазерного источника являются лазерный диод Фабри-Перо, лазер на квантовых ямах, лазер с распределенным брэгговским отражателем (DBR, Distributed Bragg Reflector), лазер с распределенной обратной связью (DFB, Distributed FeedBack), волоконный лазер или поверхностно-излучающий лазер с вертикальным резонатором (VCSEL, Vertical-Cavity Surface-Emitting Laser). Кроме того, лазерный источник может излучать световые лучи в различных форматах, например, в виде световых импульсов, непрерывных колебаний, квазинепрерывных колебаний и т.д. В некоторых не имеющих ограничительного характера примерах лазерный источник может содержать лазерный диод, способный излучать свет с длиной волны в диапазоне приблизительно 650-1150 нм. В альтернативном варианте источник света может содержать лазерный диод, способный излучать световые лучи с длиной волны в диапазоне приблизительно 800-1000 нм, приблизительно 850-950 нм, приблизительно 1300-1600 нм или в любом другом подходящем диапазоне. Если не указано иное, термин «приблизительно» применительно к числовому значению определяется как отклонение, не превышающее 10% указанного значения.

[0041] В контексте настоящего описания термин «выходной луч» может относиться к пучку излучения, например, к лучу света, формируемому источником излучения и направленному в сторону интересующей области. Выходной луч может характеризоваться одним или несколькими параметрами, такими как продолжительность излучения, угловая расходимость луча, длина волны, мгновенная мощность, плотность фотонов на разных расстояниях от источника света, средняя мощность, удельная мощность пучка, ширина луча, частота повторения импульсов излучения, последовательность излучаемых импульсов, скважность импульсов, длина волны, фаза и т.д. Выходной луч может быть неполяризованным или случайно поляризованным, может не иметь определенной или постоянной поляризации (например, поляризация может изменяться со временем) или может иметь определенную поляризацию (например, линейную, эллиптическую или круговую поляризацию).

[0042] В контексте настоящего описания «входной луч» представляет собой излучение или свет, попадающий в систему, как правило, после отражения от одного или нескольких объектов в интересующей области. Входной луч также может называться лучом излучения или световым лучом. Под термином «отраженный» подразумевается, что по меньшей мере часть выходного луча падает на один или несколько объектов в интересующей области и отражается от них. Входной луч может характеризоваться одним или несколькими параметрами, такими как время пролета (т.е. время от момента излучения до момента обнаружения), мгновенная мощность (например, сигнатура мощности), средняя мощность обратного импульса, распределение фотонов в сигнале по периоду обратного импульса и т.д. В некоторых случаях применения часть излучения или света во входном луче может являться не отраженным выходным лучом, а излучением других источников. Например, по меньшей мере некоторая часть входного луча может представлять сбой световой шум из окружающего пространства (в том числе рассеянный солнечный свет) или от других источников света, внешних по отношению к данной системе.

[0043] В контексте настоящего описания термин «окружающее пространство» транспортного средства относится к области или объему вокруг этого транспортного средства, включая часть его текущей окружающей среды, доступную для сканирования с использованием одного или нескольких датчиков, установленных на этом транспортном средстве, например, для создания трехмерной карты окружающего пространства или для обнаружения в нем объектов.

[0044] В контексте настоящего описания термин «интересующая область» в широком смысле может включать в себя часть наблюдаемого окружающего пространства лидарного датчика, в которой могут быть обнаружены один или несколько объектов. Следует отметить, что на интересующую область лидарного датчика могут влиять различные условия, такие как, среди прочего, ориентация лидарного датчика (например, направление оптической оси лидарного датчика), положение лидарного датчика в окружающем пространстве (например, расстояние над поверхностью земли, а также рельеф местности и препятствия в непосредственной близи от датчика), рабочие параметры лидарного датчика (например, мощность излучения, вычислительные настройки, заданные углы работы) и т.д. Интересующая область лидарного датчика может задаваться, например, плоским или телесным углом. В одном примере интересующая область также может быть задана диапазоном дальности (например, приблизительно до 200 м).

[0045] В контексте настоящего описания «сервер» представляет собой компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать по сети запросы (например, от электронных устройств), а также выполнять эти запросы или инициировать их выполнение. Такие аппаратные средства могут быть реализованы в виде одного физического компьютера или одной физической компьютерной системы, что не имеет существенного значения для настоящей технологии. В данном контексте при употреблении выражения «сервер» не подразумевается, что какая-либо конкретная задача или все задачи (например, принятые команды или запросы) принимаются, выполняются или запускаются на одном и том же сервере (т.е. одними и теми же программными и/или аппаратными средствами), а имеется в виду, что участвовать в приеме/передаче, выполнении или инициировании выполнения каких-либо задач или запросов либо результатов каких-либо задач или запросов может любое количество программных или аппаратных средств и что все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем выражение «по меньшей мере один сервер» охватывает оба этих случая.

[0046] В контексте настоящего описания «электронное устройство» представляет собой любые компьютерные аппаратные средства, способные обеспечивать работу программного обеспечения, подходящего для поставленной задачи. В контексте настоящего описания термин «электронное устройство» подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств, но это не носит обязательного характера для настоящей технологии. Таким образом, примерами (не имеющими ограничительного характера) электронных устройств являются блок автономного вождения, персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, например, маршрутизаторы, коммутаторы и шлюзы. Следует понимать, что в данном контексте факт функционирования оборудования в качестве электронного устройства не означает, что оно не может функционировать в качестве сервера для других электронных устройств.

[0047] В контексте данного описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя, среди прочего, визуальные произведения (например, карты), аудиовизуальные произведения (например, изображения, фильмы, звукозаписи, презентации и т.д.), данные (например, данные о местоположении, данные о погоде, данные о трафике, числовые данные и т.д.), текст (например, отзывы, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д.

[0048] В контексте данного описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных и компьютерных аппаратных средств для хранения таких данных, их применения или обеспечения их использования иным способом. База данных может размещаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо в отдельных аппаратных средствах, таких как специализированный сервер или группа серверов.

[0049] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. служат лишь для указания на различие между существительными, к которым они относятся, а не для описания каких-либо определенных взаимосвязей между этими существительными. Кроме того, как встречается в настоящем описании в другом контексте, ссылки на «первый» элемент и «второй» элемент не исключают того, что эти два элемента в действительности могут быть одним и тем же элементом.

[0050] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или одному из вышеупомянутых аспектов, но не обязательно ко всем ним. Следует понимать, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, не упомянутым здесь явным образом.

[0051] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, приложенных чертежах и формуле изобретения.

Краткое описание чертежей

[0052] Эти и другие признаки, аспекты и преимущества настоящей технологии содержатся в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.

[0053] На фиг. 1 схематически представлен пример компьютерной системы, пригодной для реализации некоторых вариантов осуществления систем и/или методов в соответствии с настоящей технологией.

[0054] На фиг. 2 схематически представлена сетевая компьютерная среда, пригодная для использования с некоторыми вариантами осуществления настоящей технологии.

[0055] На фиг. 3 схематически представлена процедура сбора лидарных данных, выполняемая процессором электронного устройства в сетевой компьютерной среде, показанной на фиг. 2, и обеспечивающая получение данных трехмерного облака точек, собранных лидарным датчиком на транспортном средстве в составе сетевой компьютерной среды, показанной на фиг. 2, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[0056] На фиг. 4 схематически представлено транспортное средство в составе сетевой компьютерной среды, показанной на фиг. 2, движущееся в пределах заданного участка дороги, представленного данными трехмерного облака точек, которые были получены процессором, выполняющим процедуру сбора данных, показанную на фиг. 3, в сетевой компьютерной среде, показанной на фиг. 2, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[0057] На фиг. 5 схематически представлен алгоритм машинного обучения, применяемый для реализации по меньшей мере некоторых не имеющих ограничительного характера вариантов осуществления настоящей технологии.

[0058] На фиг. 6 схематически представлена временная диаграмма работы каждой модели машинного обучения из множества моделей машинного обучения для алгоритма машинного обучения, показанного на фиг. 5, которая формирует прогноз в отношении внешнего объекта для транспортного средства в составе сетевой компьютерной среды, показанной на фиг. 2, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[0059] На фиг. 7 схематически представлен участок дороги для обучения, на котором формируется обучающий цифровой объект из множества цифровых обучающих объектов, используемый в целях обучения модели машинного обучения для алгоритма машинного обучения, показанного на фиг. 5, чтобы обеспечивать обнаружение объектов в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[0060] На фиг. с 8 по 10 схематически представлены разные прогнозы для внешнего объекта, сформированные разными моделями машинного обучения из множества моделей машинного обучения для алгоритма машинного обучения, показанного на фиг. 5, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[0061] На фиг. 11 представлена блок-схема компьютерного способа построения траектории движения для транспортного средства в составе сетевой компьютерной среды, показанной на фиг. 2, с использованием алгоритма машинного обучения, показанного на фиг. 5, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

Осуществление изобретения

[0062] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.

[0063] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалисты в данной области должны понимать, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.

[0064] В некоторых случаях приводятся предположительно полезные примеры модификаций настоящей технологии. Они призваны способствовать пониманию и также не определяют объема или границ настоящей технологии. Представленный перечень модификаций не является исчерпывающим, и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.

[0065] Описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалисты в данной области техники должны понимать, что все приведенные здесь блок-схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также следует понимать, что все блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором независимо от того, показан такой компьютер или процессор в явном виде или нет.

[0066] Функции различных элементов, показанных на чертежах, включая все функциональные блоки, обозначенные как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или несколькими отдельными процессорами, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные обеспечивать работу программного обеспечения, и может подразумевать, среди прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое ЗУ. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[0067] Программные модули или просто модули, реализация которых предполагается на базе программных средств, могут быть представлены здесь в виде любого сочетания элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут реализовываться с помощью аппаратных средств, показанных явно или подразумеваемых.

[0068] С учетом вышеизложенных принципов ниже рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие разные варианты реализации аспектов настоящей технологии.

Компьютерная система

[0069] На фиг. 1 представлена схема компьютерной системы 100, подходящей для использования в некоторых вариантах осуществления настоящей технологии. Компьютерная система 100 содержит различные аппаратные элементы, включая один или несколько одноядерных или многоядерных процессоров, совместно представленных процессором 110, твердотельный накопитель 120 и память 130, которая может быть памятью с произвольным доступом или памятью любого другого вида.

[0070] Связь между элементами компьютерной системы 100 может осуществляться через одну или несколько внутренних и/или внешних шин (не показаны), таких как шина PCI, шина USB, шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д., с которыми различные аппаратные элементы соединены электронными средствами. Согласно вариантам осуществления настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в память 130 и выполнения процессором 110 с целью определения наличия объекта. Например, программные команды могут входить в состав управляющего приложения транспортного средства, выполняемого процессором 110. Следует отметить, что компьютерная система 100 может содержать дополнительные и/или необязательные элементы (не показаны), например, модули передачи данных по сети, модули определения местоположения и т.д.

Сетевая компьютерная среда

[0071] На фиг. 2 представлена сетевая компьютерная среда 200, пригодная для использования с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии. Сетевая компьютерная среда 200 содержит электронное устройство 210, связанное с транспортным средством 220 и/или с пользователем (не показан), который связан с транспортным средством 220 (в частности, с водителем транспортного средства 220). Среда 200 также содержит сервер 235, соединенный с электронным устройством 210 через сеть 240 связи (например, через сеть Интернет и т.п., как более подробно описано ниже).

[0072] В по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии электронное устройство 210 связано с системами управления транспортного средства 220. Электронное устройство 210 может управлять различными рабочими системами транспортного средства 220, включая, среди прочего, блок управления двигателем, системы рулевого управления, тормозные системы, а также системы освещения и сигнализации (т.е. фары, стоп-сигналы и/или указатели поворота). В таком варианте осуществления транспортное средство 220 может быть беспилотным.

[0073] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сетевая компьютерная среда 200 может содержать спутник системы GPS (не показан), передающий сигнал GPS электронному устройству 210 и/или принимающий сигнал GPS от него. Следует понимать, что настоящая технология не ограничивается применением системы GPS и может быть реализована на базе любой другой технологии определения местоположения. Следует отметить, что спутник GPS может вовсе отсутствовать.

[0074] Транспортное средство 220, с которым связано электронное устройство 210, может представлять собой любое транспортное средство для отдыха или иных целей, например, автомобиль для индивидуального или коммерческого использования, грузовой автомобиль, мотоцикл и т.д. Несмотря на то, что транспортное средство 220 изображено как наземное транспортное средство, это не обязательно для каждого не имеющего ограничительного характера варианта осуществления настоящей технологии. В частности, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортным средством 220 может быть водное транспортное средство, например, лодка, или воздушное транспортное средство, например, летающий дрон.

[0075] Транспортное средство 220 может управляться пользователем или представлять собой автономное (беспилотное) транспортное средство. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортное средство 220 может быть реализовано в виде беспилотного автомобиля (SDC, Self-Driving Car). Следует отметить, что при этом не накладывается ограничений на конкретные параметры транспортного средства 220, к числу которых относятся, например, производитель транспортного средства, модель транспортного средства, год выпуска транспортного средства, масса транспортного средства, размеры транспортного средства, распределение массы транспортного средства, площадь поверхности транспортного средства, высота транспортного средства, вид трансмиссии (в частности, с приводом на два или четыре колеса), вид шин, тормозная система, топливная система, пробег, идентификационный номер транспортного средства и рабочий объем двигателя.

[0076] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортное средство 220 может быть реализовано в виде роботизированного транспортного средства-доставщика и использоваться для доставки пользователю различных товаров. В связи с этим в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии товары могут включать в себя товары, заказанные пользователем, в частности, потребительские товары, например, с онлайн-платформы объявлений (такой как онлайн-платформа объявлений Yandex.Market™, онлайн-платформа объявлений Avito™ и т.п.). В данном примере транспортное средство 220 может принадлежать онлайн-платформе объявлений или другой организации, связанной с онлайн-платформой объявлений. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортное средство 220 может быть реализовано в виде складского роботизированного транспортного средства и использоваться для перемещения, погрузки и/или выгрузки различных товарно-материальных ценностей на складе.

[0077] Согласно настоящей технологии, на реализацию электронного устройства 210 не накладывается ограничений. Например, электронное устройство 210 может быть реализовано в виде блока управления двигателем транспортного средства, центрального процессора транспортного средства, навигационного устройства транспортного средства (например, TomTom™, Garmin™), планшета, персонального компьютера, встроенного в транспортное средство 220, и т.д. Следует отметить, что электронное устройство 210 может быть связано или не связано с транспортным средством 220 постоянным образом. Дополнительно или в качестве альтернативы, электронное устройство 210 может быть реализовано в виде устройства беспроводной связи, такого как мобильный телефон (например, смартфон или радиотелефон). В некоторых вариантах осуществления изобретения электронное устройство 210 содержит дисплей 270.

[0078] Электронное устройство 210 может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1, в зависимости от конкретного варианта осуществления. В некоторых вариантах осуществления электронное устройство 210 представляет собой бортовое компьютерное устройство и содержит процессор 110, твердотельный накопитель 120 и память 130. Иными словами, электронное устройство 210 содержит аппаратные средства и/или программное обеспечение и/или микропрограммное обеспечение либо их комбинацию для осуществления обработки данных, как более подробно описано ниже.

[0079] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи представляет собой сеть Интернет. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи может быть реализована как любая подходящая локальная сеть (LAN, Local Area Network), глобальная сеть (WAN, Wide Area Network), частная сеть связи и т.п. Следует понимать, что варианты осуществления сети 240 связи приведены лишь в иллюстративных целях. Между электронным устройством 210 и сетью 240 связи предусмотрена линия связи (отдельно не обозначена), реализация которой зависит, среди прочего, от реализации электронного устройства 210. Для примера можно отметить, что, помимо прочего, в тех не имеющих ограничительного характера вариантах осуществления настоящей технологии, где электронное устройство 210 реализовано в виде устройства беспроводной связи, такого как смартфон или навигационное устройство, линия связи может быть реализована в виде беспроводной линии связи. Примерами беспроводных линий связи могут служить, помимо прочего, канал сети связи 3G, канал сети связи 4G и т.п. В сети 240 связи также может использоваться беспроводное соединение с сервером 235.

[0080] В некоторых вариантах осуществления настоящей технологии сервер 235 реализован в виде компьютерного сервера и, таким образом, может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В одном не имеющем ограничительного характера примере сервер 235 реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™, тем не менее, он также может быть реализован на базе любых других подходящих видов аппаратных средств, программного обеспечения и/или микропрограммного обеспечения либо их сочетания. В описанных не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 представляет собой одиночный сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 235 могут быть распределены между несколькими серверами (не показаны).

[0081] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 электронного устройства 210 может быть связан с сервером 235 для получения одного или нескольких обновлений. Такие обновления могут включать в себя, среди прочего, обновления программного обеспечения, обновления карт, обновления маршрутов, обновления погодных данных и т.п. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 также способен отправлять на сервер 235 определенные рабочие данные, например, информацию о пройденных маршрутах, данные о дорожной обстановке, эксплуатационные данные и т.п. Некоторые или все такие данные, передаваемые между транспортным средством 220 и сервером 235, могут быть зашифрованы и/или обезличены.

[0082] Следует отметить, что электронное устройство 210 может использовать целый ряд датчиков и систем для сбора информации об окружающем пространстве 250 транспортного средства 220. Как показано на фиг. 2, транспортное средство 220 может быть оборудовано множеством систем 280 датчиков. Следует отметить, что для сбора разных видов данных об окружающем пространстве 250 транспортного средства 220 могут применяться разные системы датчиков из множества систем 280 датчиков.

[0083] В одном примере множество систем 280 датчиков может содержать разные оптические системы, в том числе одну или несколько систем датчиков типа «камера», установленных на транспортном средстве 220 и связанных с процессором 110 электронного устройства 210, таких как датчик 290 типа «камера». В целом, датчик 290 типа «камера» способен собирать данные в виде изображений, например, отдельных изображений или последовательности изображений, о разных частях окружающего пространства 250 транспортного средства 220.

[0084] Например, в отдельных не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 290 типа «камера» может быть реализован в виде монокамеры с разрешающей способностью, достаточной для обнаружения внешних объектов в окружающем пространстве 250 транспортного средства 220 на расстоянии приблизительно до 80 м (при этом в объем настоящего изобретения входят и системы камер с другими разрешающими способностями и диапазонами дальности). Датчик 290 типа «камера» может быть установлен в верхней части ветрового стекла транспортного средства 220 с его внутренней стороны, при этом в объем настоящего изобретения входят и другие места, включая заднее окно, боковые окна, передний капот, крышу, переднюю решетку и передний бампер транспортного средства 220. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 290 типа «камера» может монтироваться в специальном корпусе (не показан), установленном сверху транспортного средства 220.

[0085] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 290 типа «камера» способен охватывать заданную часть окружающего пространства 250 транспортного средства 220. В некоторых вариантах осуществления настоящей технологии датчик 290 типа «камера» способен получать данные изображения, представляющие сектор окружающего пространства 250 транспортного средства 220 приблизительно 90 градусов по ходу движения транспортного средства 220.

[0086] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 290 типа «камера» способен получать отдельные изображения или последовательности изображений, представляющие сектор окружающего пространства 250 транспортного средства 220 приблизительно 180 градусов по ходу движения транспортного средства 220. В некоторых других не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 290 типа «камера» способен получать данные изображения, представляющие сектор окружающего пространства 250 транспортного средства 220 приблизительно 360 градусов по ходу движения транспортного средства 220 (иными словами, все окружающее пространство транспортного средства 220).

[0087] В конкретном не имеющем ограничительного характера примере датчик 290 типа «камера» может быть реализован в виде камеры, выпускаемой компанией FLIR Integrated Imaging Solutions Inc., 12051 Riverside Way, Richmond, BC, V6W 1K7, Canada (Канада). Очевидно, что датчик 290 типа «камера» может быть реализован на базе любого другого подходящего оборудования.

[0088] В некоторых случаях данные изображения, предоставленные датчиком 290 типа «камера», могут использоваться электронным устройством 210 для выполнения процедур обнаружения объектов, как подробно описано ниже.

[0089] В еще одном примере множество систем 280 датчиков может содержать одну или несколько систем датчиков типа «радиолокатор» (не обозначены отдельно), установленных на транспортном средстве 220 и связанных с процессором 110 электронного устройства 210. В целом, одна или несколько систем датчиков типа «радиолокатор» могут использовать радиоволны для сбора данных о разных частях окружающего пространства 250 транспортного средства 220. Например, одна или несколько систем датчиков типа «радиолокатор» могут собирать радиолокационные данные о потенциальных внешних объектах транспортного средства 220 и такие данные могут характеризовать расстояние от системы датчиков типа «радиолокатор» до внешних объектов, ориентацию внешних объектов, векторную и/или скалярную скорость внешних объектов и т.п.

[0090] Следует отметить, что в объеме настоящей технологии множество систем 280 датчиков может включать в себя системы датчиков других типов в дополнение к тем, которые описаны выше неисчерпывающим образом.

[0091] Например, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, как показано на фиг. 2, транспортное средство 220 может быть оборудовано по меньшей мере одной лазерной системой обнаружения и измерения дальности (лидарной системой), например, лидарным датчиком 300, для сбора информации об окружающем пространстве 250 транспортного средства 220. Несмотря на то, что описание здесь приводится в контексте установки на транспортном средстве 220, также предполагается, что лидарный датчик 300 может работать автономно или с подключением к другой системе.

[0092] В соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии, лидарный датчик 300 транспортного средства 220 связан с электронным устройством 210. В некоторых не имеющих ограничительного характера вариантах осуществления информация, полученная электронным устройством 210 от лидарного датчика 300, может использоваться, по меньшей мере частично, при управлении транспортным средством 220. Например, в тех вариантах осуществления, в которых транспортное средство 220 является беспилотным, трехмерные карты, созданные на основе информации, полученной лидарным датчиком 300, могут использоваться электронным устройством 210 для управления, по меньшей мере частичного, транспортным средством 220. В еще одном примере процессор 110 электронного устройства 210 способен использовать информацию, полученную лидарным датчиком 300, для обнаружения в реальном времени внешних объектов, присутствующих в окружающем пространстве 250 транспортного средства 220, с целью планирования движения транспортного средства 220.

[0093] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии для планирования движения транспортного средства 220 процессор 110 электронного устройства 210 способен строить и/или изменять траекторию движения транспортного средства 220 на основе информации об обнаруженных внешних объектах. Несмотря на то, что большинство примеров, приведенных в описании ниже, относится к планированию движения транспортного средства 220, которое сводится к построению траектории его движения, в более широких не имеющих ограничительного характера вариантах осуществления настоящей технологии планирование движения транспортного средства 220 может предусматривать определение процессором 110 электронного устройства 210 тех или иных параметров движения транспортного средства 220 в заданный момент времени в будущем, таких как расстояние перемещения, скорость и/или ускорение транспортного средства 220 в заданный момент времени в будущем.

[0094] В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, внешний объект может представлять собой движущийся внешний объект и/или неподвижный внешний объект. Например, движущимся внешним объектом может быть, среди прочего, другое автотранспортное средство, поезд, трамвай, велосипедист или пешеход. Примерами неподвижного внешнего объекта, среди прочего, могут служить светофор, дорожный указатель, уличный фонарь, бордюр, дерево, пожарный гидрант, остановившееся или припаркованное транспортное средство и урна для мусора.

[0095] Предполагается, что специалист в данной области техники имеет представление о функционировании лидарного датчика 300, тем не менее, здесь целесообразно привести его краткое описание. Источник света, например, лазер (не показан) лидарного датчика 300 способен испускать световые лучи, которые после отражения от одного или нескольких внешних объектов в окружающем пространстве 250 транспортного средства 220 рассеиваются обратно к приемнику (не показан) лидарного датчика 300. Фотоны, вернувшиеся к приемнику, собираются оптикой, а их количество представляется в виде функции времени. В результате процессор 110 электронного устройства 210, используя скорость света (приблизительно 3×10⁸ м/с), может вычислять расстояние, пройденное фотонами (туда и обратно). Фотоны могут рассеиваться в обратном направлении от множества различных объектов вокруг транспортного средства 220, таких как частицы (аэрозоли или молекулы) воды, пыли или дыма в атмосфере, другие транспортные средства, неподвижные внешние объекты или возможные препятствия перед транспортным средством 220.

[0096] В зависимости от варианта осуществления, транспортное средство 220 может содержать больше или меньше лидарных датчиков 300, чем показано на чертежах. В зависимости от конкретного варианта осуществления выбор конкретных систем из множества систем 280 датчиков может учитывать конкретный вариант осуществления лидарного датчика 300. Лидарный датчик 300 может быть установлен на транспортном средстве 220 изначально или при его модернизации в самых разных местах и/или самых разных конфигурациях.

[0097] Например, в зависимости от исполнения транспортного средства 220 и лидарного датчика 300, лидарный датчик 300 может быть установлен в верхней части ветрового стекла транспортного средства 220 с его внутренней стороны. При этом, как показано на фиг. 2, установка лидарного датчика 300 в других местах, включая заднее окно, боковые окна, передний капот, крышу, переднюю решетку, передний бампер и боковину транспортного средства 220, входит в объем настоящей технологии. В некоторых случаях лидарный датчик 300 может монтироваться в специальном корпусе, установленном сверху транспортного средства 220.

[0098] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, например, как показано на фиг. 2, лидарный датчик 300 установлен на крыше транспортного средства 220 и способен вращаться. В частности, лидарный датчик 300, установленный на транспортном средстве 220 и способный вращаться, может содержать по меньшей мере некоторые элементы, способные поворачиваться на 360 градусов вокруг оси вращения лидарного датчика 300. Лидарный датчик 300 с возможностью вращения может собирать данные о большей части окружающего пространства 250 транспортного средства 220.

[0099] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии, как показано на фиг. 2, лидарный датчик 300 установлен на боковой стороне или на передней решетке и не имеет возможности вращения. В частности, лидарный датчик 300, установленный на транспортном средстве 220 без возможности вращения, может содержать по меньшей мере некоторые элементы, не способные поворачиваться на 360 градусов, но способные собирать данные о заданных частях окружающего пространства 250 транспортного средства 220.

[00100] Независимо от конкретного места установки и/или конкретного варианта исполнения, лидарный датчик 300 способен собирать данные об окружающем пространстве 250 транспортного средства 220, например, для построения многомерной карты внешних объектов в окружающем пространстве 250 транспортного средства 220. Ниже приводится описание устройства лидарного датчика 300 с точки зрения сбора данных об окружающем пространстве 250 транспортного средства 220.

[00101] В конкретном не имеющем ограничительного характера примере лидарный датчик 300 может быть реализован в виде лидарного датчика, выпускаемого компанией Velodyne LiDAR, Inc., 5521 Hellyer Avenue, San Jose, CA 95138, United States of America (США). Очевидно, что лидарный датчик 300 может быть реализован на базе любого другого подходящего оборудования.

[00102] Следует отметить, что в приведенном здесь описании лидарный датчик 300 реализован как «времяпролетная» лидарная система и в связи этим содержит соответствующие элементы, свойственные такой реализации, но допускаются и другие варианты осуществления лидарного датчика 300 без отступления от существа и объема настоящей технологии. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии лидарный датчик 300 может быть реализован как лидарная система с непрерывным частотно-модулированным сигналом (FMCW, Frequency-Modulated Continuous Wave) согласно одному или нескольким вариантам реализации и на основе соответствующих им элементов, описанных в патентной заявке US2021373172A1 «LiDAR detection methods and systems» («Лидарные способы и системы обнаружения») этого же заявителя, опубликованной 02.12.2021, содержание которой полностью включено в настоящий документ посредством ссылки.

[00103] На фиг. 3 схематически представлена процедура 302 сбора лидарных данных, выполняемая процессором 110 электронного устройства 210 для формирования данных 310 трехмерного облака точек, которые представляют внешний объект, присутствующий в окружающем пространстве 250 транспортного средства 220, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00104] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 сбора лидарных данных для получения данных 310 трехмерного облака точек может выполняться непрерывно. В других вариантах осуществления настоящей технологии процедура 302 сбора лидарных данных для получения данных 310 трехмерного облака точек может выполняться с заданной периодичностью, например, каждые 2 миллисекунды или с любым другим подходящим интервалом времени.

[00105] Для выполнения процедуры 302 сбора лидарных данных во время движения транспортного средства 220 по дороге 304 процессор 110 электронного устройства 210 способен собирать данные 306 датчика, представляющие объекты в окружающем пространстве 250 транспортного средства 220, с помощью лидарного датчика 300. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, процессор 110 способен получать данные 306 датчика, представляющие объекты в окружающем пространстве 250 транспортного средства 220, в разных местах дороги 304 в виде одного или нескольких трехмерных облаков точек, таких как трехмерное облако 312 точек.

[00106] В общем случае трехмерное облако 312 точек представляет собой совокупность лидарных точек в виде трехмерного облака точек, в котором отдельно взятая лидарная точка 314 является точкой в трехмерном пространстве, характеризующей по меньшей мере часть поверхности внешнего объекта на дороге 304 или рядом с ней. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии трехмерное облако 312 точек может быть разделено на слои, точки каждого из которых образуют эллипс, причем начальные точки всех эллиптических слоев считаются имеющими одинаковую ориентацию.

[00107] Отдельно взятая лидарная точка 314 трехмерном облаке 312 точек связана с параметрами 316 лидара (обозначенным на фиг. 3 как L₁, L₂ и L_N). Не имеющими ограничительного характера примерами параметров 316 лидара могут служить расстояние, интенсивность света, угол, а также другие параметры, относящиеся к данным, которые могут собираться лидарным датчиком 300. Лидарный датчик 300 может формировать трехмерное облако точек на каждом временном шаге t во время движения транспортного средства 220, в результате чего образуется совокупность подобных трехмерных облаков точек, содержащих данные 310 трехмерных облаков точек об окружающем пространстве 250 транспортного средства 220.

[00108] Предполагается, что в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 электронного устройства 210 способен дополнять трехмерное облако 312 точек данными изображения, полученными от датчика 290 типа «камера». Для этого процессор 110 способен использовать одно или несколько решений из патента US11551365B2 «Methods and systems for computer-based determining of presence of objects» («Способы и системы компьютерного определения наличия объектов») этого же заявителя, опубликованного 23.01.2023, содержание которого полностью включено в настоящий документ посредством ссылки.

[00109] Кроме того, как показано на фиг. 2, используя трехмерное облако 312 точек, процессор 110 способен (а) обнаруживать объекты в окружающем пространстве 250 транспортного средства 220 и (б) на основе обнаруженных объектов определять, например, траекторию движения транспортного средства 220. На фиг. 4 схематически представлено транспортное средство 220, движущееся в пределах участка 402 дороги, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00110] Как показано на фиг. 4, после выезда на перекресток на участке 402 дороги транспортное средство 220 способно, в соответствии с заданной для него (предварительной) траекторией движения, выполнить поворот 404 направо на пересекающую дорогу. При этом во избежание столкновения с приближающимся транспортным средством 420, движущимся по пересекающей дороге в прямом направлении 406, транспортное средство 220 должно быть способным (а) обнаруживать приближающееся транспортное средство 420 и (б) принимать корректирующие меры по отношению к ранее заданной траектории движения, например, замедляться, ускоряться или тормозить, тем самым перестраивая траекторию движения транспортного средства 220.

[00111] В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, для обнаружения приближающегося транспортного средства 420 процессор 110 способен определять (а) местоположение приближающегося транспортного средства 420 в системе координат транспортного средства 220 и (б) класс объекта для приближающегося транспортного средства 420.

[00112] В связи с этим в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 способен использовать алгоритм 260 машинного обучения, размещенный на сервере 235 и позволяющий обнаруживать объекты в окружающем пространстве 250 транспортного средства 220. В не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 260 машинного обучения может быть реализован на основе нейронных сетей (NN, Neural Network), таких как сверточная нейронная сеть (CNN, Convolutional Neural Network), нейронная сеть на основе модели-трансформера и т.п., как более подробно описано ниже.

[00113] В частности, с целью определения класса объекта для внешнего объекта алгоритм 260 машинного обучения способен определять множество признаков объекта, описывающих этот внешний объект. Для примера можно отметить, что, помимо прочего, когда заданным внешним объектом является приближающееся транспортное средство 420, признаки объекта могут включать в себя, среди прочего, (а) тип внешнего объекта, например, подвижный объект, (б) тип подвижного объекта, например, неодушевленный объект, (в) тип подвижного неодушевленного объекта, например, транспортное средство, (г) марку и модель приближающегося транспортного средства 420, (д) год выпуска приближающегося транспортного средства 420, (е) тип кузова приближающегося транспортного средства 420, например, седан, хетчбэк, универсал, минивэн и т.д., (ж) тип приближающегося транспортного средства 420 с точки зрения управления, например, традиционное (управляемое водителем) или самоуправляемое (то есть другой беспилотный автомобиль), (з) текущую скорость приближающегося транспортного средства 420 в прямом направлении 406, (и) расстояние 408 от транспортного средства 220 до приближающегося транспортного средства 420 и т.д.

[00114] В другом примере, где внешним объектом является пешеход (не показан), признаки объекта могут включать в себя, среди прочего, (а) тип объекта, например, подвижный объект, (б) тип подвижного объекта, например, одушевленный объект, (в) тип подвижного одушевленного объекта, например, человек, (г) пол человека, например, женщина, (д) рост пешехода, (е) массу пешехода, (ж) возрастную группу пешехода, например, взрослый или ребенок, (з) текущее направление движения пешехода, (и) текущую скорость пешехода в текущем направлении движения пешехода, (к) расстояние до пешехода и т.д.

[00115] В еще одном примере, где внешним объектом является светофор 410, признаки объекта могут включать в себя, среди прочего, (а) тип объекта, например, неподвижный объект, (б) тип неподвижного объекта, например, объект регулирования дорожного движения, (в) тип объекта регулирования дорожного движения, например, светофор, (г) высоту светофора 410, (д) расстояние до светофора 410 и т.д.

[00116] При этом доступных вычислительных ресурсов процессора 110 может оказаться недостаточно для определения всех признаков внешнего объекта, используемых для построения траектории движения транспортного средства 220, например, из-за выполнения других задач. В результате затраты времени на определение траектории движения процессором 110 и/или сервером 235 увеличиваются, что оставляет процессору 110 меньше времени на реализацию этой траектории движения и повышает риск столкновения транспортного средства 220 с внешним объектом, например, с приближающимся транспортным средством 420 в примере на фиг. 4.

[00117] Соответственно, разработчиками настоящей технологии была разработана архитектура алгоритма 260 машинного обучения, включающая в себя множество последовательно соединенных моделей машинного обучения, каждая из которых способна формировать соответствующий прогноз для внешнего объекта в пределах установленной точности обнаружения объектов, что позволяет формировать наиболее точные прогнозы для данного внешнего объекта в течение требуемого интервала времени с учетом текущей доступности вычислительных ресурсов процессора 110 и/или сервера 235.

[00118] Описание архитектуры, процесса обучения и процесса работы алгоритма 260 машинного обучения приведено ниже со ссылкой на фиг. 5-11.

Архитектура алгоритма машинного обучения

[00119] На фиг. 5 схематически представлена архитектура алгоритма 260 машинного обучения в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии. Очевидно, что архитектура алгоритма 260 машинного обучения включает в себя множество моделей машинного обучения, таких как первая модель 502 машинного обучения, вторая модель 504 машинного обучения, третья модель 506 машинного обучения и последняя модель 508 машинного обучения. В общем случае модель машинного обучения из множества моделей машинного обучения способна формировать прогноз для внешнего объекта в окружающем пространстве 250 транспортного средства 220, используя данные измерений, например, трехмерное облако 312 точек. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии прогноз для внешнего объекта может включать в себя (а) местоположение внешнего объекта и (б) класс объектов внешнего объекта, включая количество признаков, которые способна определять данная модель машинного обучения из множества моделей машинного обучения.

[00120] В частности, в примере на фиг. 5 первая модель 502 машинного обучения способна формировать на основе трехмерного облака 312 точек для внешнего объекта первый прогноз 503 для внешнего объекта, вторая модель 504 машинного обучения - второй прогноз 505, третья модель 506 машинного обучения - третий прогноз, а последняя модель 508 машинного обучения - последний прогноз 509.

[00121] Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, сервер 235 с целью формирования прогноза для внешнего объекта, наряду с трехмерным облаком 312 точек, способен дополнительно передавать в модель машинного обучения из множества моделей машинного обучения выходные данные предыдущей по порядку модели машинного обучения, то есть сформированный ею прогноз. Иными словами, сервер 235, таким образом, способен определять каскадную архитектуру алгоритма 260 машинного обучения, в которой выход модели машинного обучения служит входом для следующей по порядку модели машинного обучения. В частности, в этих вариантах осуществления для обеспечения формирования второго прогноза 505 сервер 235 способен передавать во вторую модель 504 машинного обучения (а) трехмерное облако 312 точек и (б) первый прогноз 503, сформированный первой моделью 502 машинного обучения. Для формирования третьего прогноза 507 сервер 235 способен передавать в третью модель 506 машинного обучения (а) трехмерное облако 312 точек и (б) второй прогноз 505, сформированный второй моделью 504 машинного обучения. Для формирования последнего прогноза 509 сервер 235 способен передавать в последнюю модель 508 машинного обучения (а) трехмерное облако 312 точек и (б) предпоследний прогноз 511, сформированный моделью машинного обучения, непосредственно предшествующей последней модели 508 машинного обучения.

[00122] Кроме того, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, модель машинного обучения из множества моделей машинного обучения в архитектуре алгоритма 260 машинного обучения способна формировать прогноз для внешнего объекта с более высокой точностью обнаружения объектов в сравнении с любой предыдущей моделью машинного обучения во множестве моделей машинного обучения.

[00123] При этом на способ определения точности обнаружения объектов для каждого из первого, второго, третьего и последнего прогнозов 503, 505, 507 и 509 не накладывается ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии точность обнаружения объектов для каждой из первой, второй, третьей и последней моделей 502, 504, 506 и 508 машинного обучения может определяться как значение метрики точности обнаружения объектов. В различных не имеющих ограничительного характера вариантах осуществления настоящей технологии метрика точности обнаружения объектов может включать в себя, например, метрику точности обнаружения объектов типа «средняя точность», метрику точности обнаружения объектов типа «отношение пересечения к объединению», метрику точности обнаружения объектов типа «именованная средняя точность» и/или метрику точности обнаружения объектов типа «точность и полнота».

[00124] Таким образом, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, значение метрики точности обнаружения объектов, связанное с моделью машинного обучения, характеризует количество признаков внешнего объекта, которое способна определять эта модель машинного обучения в рамках соответствующего прогноза.

[00125] В примере на фиг. 4 первый прогноз 503 для приближающегося транспортного средства 420, сформированный первой прогностической моделью 502, может включать в себя первый набор признаков объекта, в том числе (а) тип объекта приближающегося транспортного средства 420, например, подвижный объект, (б) габаритные размеры приближающегося транспортного средства 420 и (в) расстояние 408 до приближающегося транспортного средства 420. Второй прогноз 505, сформированный второй моделью 504 машинного обучения, может включать в себя второй набор признаков объекта, который в качестве альтернативы или в дополнение к первому набору признаков объекта может содержать (г) тип подвижного объекта, например, транспортное средство, и (д) направление движения, например, прямое направление 406. Третий прогноз 507, сформированный третьей моделью 506 машинного обучения, может включать в себя третий набор признаков объекта, который в качестве альтернативы или в дополнение ко второму набору признаков объекта может содержать (е) текущую скорость приближающегося транспортного средства 420 в прямом направлении 406. Последний прогноз 509, сформированный последней моделью 508 машинного обучения, может включать в себя последний набор признаков объекта, который в качестве альтернативы или в дополнение к предыдущим наборам признаков объекта может содержать (ж) тип кузова приближающегося транспортного средства 420, например, седан, (з) марку приближающегося транспортного средства 420, (и) прогнозный показатель соблюдения правил дорожного движения, связанный с приближающимся транспортным средством 420, и т.п.

[00126] Таким образом, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, чем выше значение метрики точности обнаружения объектов для модели машинного обучения, тем больше признаков внешнего объекта способна определять эта модель машинного обучения. Иными словами, модель машинного обучения из множества моделей машинного обучения способна определять больше признаков внешнего объекта, чем любая другая модель машинного обучения во множестве моделей машинного обучения, предшествующая этой модели машинного обучения. Соответственно, модель машинного обучения способна обеспечивать более точное обнаружение внешнего объекта и, следовательно, более высокую точность обнаружения объектов в целом, чем любая предыдущая модель машинного обучения.

[00127] Кроме того, поскольку модель машинного обучения способна формировать прогноз, используя меньше признаков объекта и/или меньший объем данных о заданном внешнем объекте в сравнении со следующими моделями машинного обучения из множества моделей машинного обучения, некоторые не имеющие ограничительного характера варианты осуществления настоящей технологии исходят из того, что для формирования этого прогноза модели машинного обучения может требоваться меньше вычислительных ресурсов процессора 110 электронного устройства 210 и/или сервера 235 и, следовательно, меньше времени, чем следующим по порядку моделям машинного обучения. Иными словами, можно утверждать, что время, затрачиваемое на формирование прогноза моделью машинного обучения, указывает на доступные вычислительные ресурсы процессора 110 электронного устройства 210 и/или сервера 235.

[00128] Таким образом, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, чтобы иметь возможность обнаруживать внешний объект для планирования движения транспортного средства 220, в частности, для построения его траектории движения, как указано выше, процессор 110 способен (а) назначать каждой из множества моделей машинного обучения заданный порог времени для формирования соответствующих прогнозов и (б) последовательно обеспечивать формирование каждой из множества моделей машинного обучения прогнозов таким образом, чтобы (в) процессор 110 обеспечивал формирование прогноза следующей по порядку моделью машинного обучения из множества моделей машинного обучения, если время, затрачиваемое на формирование прогноза данной моделью машинного обучения, равно заданному порогу времени или меньше него, и (г) процессор 110 обеспечивал планирование движения транспортного средства 220 на основе соответствующего прогноза, сформированного данной моделью машинного обучения, если время, затрачиваемое на формирование прогноза данной моделью машинного обучения, превышает заданный порог времени.

[00129] Разработчики настоящей технологии установили, что такой подход к обнаружению объектов помогает более эффективно использовать вычислительные ресурсы электронного устройства 210 и/или сервера 235, что позволяет планировать движение транспортного средства 220 в течение требуемого интервала времени с меньшей зависимостью от текущего объема доступных вычислительных ресурсов.

[00130] На фиг. 6 схематически представлена временная диаграмма 600 работы каждой из множества моделей машинного обучения, формирующих прогнозы для внешнего объекта, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00131] В частности, процессор 110 способен назначить (а) первой модели 502 машинного обучения первый заданный порог 602 времени для формирования первого прогноза 503, (б) второй модели 504 машинного обучения - второй заданный порог 604 времени для формирования второго прогноза 505, (в) третьей модели 506 машинного обучения - третий заданный порог 606 времени для формирования третьего прогноза 507 и (г) последней модели 508 машинного обучения - последний заданный порог 608 времени для формирования последнего прогноза 509.

[00132] Таким образом, если первая модель 502 машинного обучения оказалась в состоянии сформировать первый прогноз 503 в пределах первого заданного порога 602 времени, процессор 110 способен обеспечивать формирование второй моделью 504 машинного обучения второго прогноза 505. Если вторая модель 504 машинного обучения оказалась в состоянии сформировать второй прогноз 505 в пределах второго заданного порога 604 времени, процессор 110 способен обеспечивать формирование третьей моделью 506 машинного обучения третьего прогноза 507. Если третья модель 506 машинного обучения оказалась не в состоянии сформировать третий прогноз 507 в пределах третьего заданного порога 606 времени, что свидетельствует о том, что процессор 110 столкнулся с нехваткой вычислительных ресурсов, процессор 110 способен (а) прекратить формирование прогнозов следующими по порядку моделями машинного обучения из множества моделей машинного обучения и, например, (б) построить траекторию движения транспортного средства 220 на основе третьего прогноза 507 для внешнего объекта.

[00133] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии при обнаружении того, что время формирования третьего прогноза 507 превысило третий заданный порог 606 времени, процессор 110 способен (а) прекращать формирование третьей моделью 506 машинного обучения третьего прогноза 507 и (б) строить траекторию движения транспортного средства 220 на основе предыдущего прогноза для внешнего объекта, то есть второго прогноза 507.

[00134] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии значение второго, третьего и последнего заданных порогов 604, 606 и 608 времени может превышать значение предшествующих заданных порогов времени. При этом в других не имеющих ограничительного характера вариантах осуществления настоящей технологии первый, второй, третий и последний заданные пороги 602, 604, 606 и 608 времени могут иметь одинаковое значение, составляющее, например, 5, 10, 15 или 20 миллисекунд. Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии значение каждого из первого, второго, третьего и последнего заданных порогов 602, 604, 606 и 608 времени может определяться, исходя из их суммы, соответствующей предельному времени 610 формирования прогноза для внешнего объекта. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предельное время 610 может определяться эмпирически, в частности, исходя из максимального времени реакции транспортного средства 220 на инициирование процессором 110 управления транспортным средством 220 в соответствии с построенной траекторией движения.

[00135] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии модель машинного обучения в алгоритме 260 машинного обучения может быть реализована на основе нейронной сети. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии нейронная сеть может представлять собой сверточную нейронную сеть (CNN). В конкретном не имеющем ограничительного характера примере сверточная нейронная сеть может быть построена на основе архитектуры PointNet, описанной, например, в статье Qi et al. «PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation» («PointNet - глубокое обучение на наборах точек для трехмерной классификации и сегментации»), опубликованной Стенфордским университетом 10.04.2017, содержание которой полностью включено в настоящий документ посредством ссылки.

[00136] В другом примере сверточная нейронная сеть, используемая для реализации модели машинного обучения в алгоритме 260 машинного обучения, может быть построена на основе архитектуры LaserNet, описанной, например, в статье Meyer et al. «LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving» («LaserNet - эффективный вероятностный детектор трехмерных объектов для обеспечения автономного вождения»), опубликованной компанией Uber Advanced Technologies Group 20.03.2019, содержание которой полностью включено в настоящий документ посредством ссылки.

[00137] В еще одном примере сверточная нейронная сеть может быть реализована, как описано в патентной заявке US20220309794A1 «Methods and electronic devices for detecting objects in surroundings of a self-driving car» («Способы и электронные устройства для обнаружения объектов в окружающем пространстве беспилотного автомобиля») этого же заявителя, опубликованной 29.09.2022, содержание которой полностью включено в настоящий документ посредством ссылки.

[00138] Примерами сверточной нейронной сети, среди прочего, также могут служить остаточная нейронная сеть (ResNet), сверточная нейронная сеть на основе архитектуры CenterPoint и сверточная нейронная сеть на основе архитектуры U-Net. Очевидно, что без отступления от существа и объема настоящей технологии возможно использование и других вариантов нейронной сети, способных обеспечивать классификацию объектов и определение их местоположения в окружающем пространстве 250 транспортного средства 220.

[00139] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии все модели из множества моделей машинного обучения могут быть реализованы одинаково. В частности, каждая из первой, второй, третьей и последней моделей 502, 504, 506 и 508 машинного обучения может быть реализована на основе одной и той же архитектуры нейронной сети, например, на основе архитектуры PointNet. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии все модели из множества моделей машинного обучения в алгоритме 260 машинного обучения могут иметь разную реализацию. Например, первая модель 502 машинного обучения может представлять собой нейронную сеть на основе архитектуры PointNet, а вторая модель 504 машинного обучения - нейронную сеть на основе архитектуры LaserNet.

[00140] Кроме того, как указано выше, значение метрики точности обнаружения объектов, связанное с моделью машинного обучения, может превышать прочие значения, связанные с моделями машинного обучения, предшествующими этой модели машинного обучения во множестве моделей машинного обучения из алгоритма 260 машинного обучения. Иными словами, каждая модель машинного обучения может формировать прогноз с более высокой точностью обнаружения объектов, любая предыдущая модель машинного обучения. Некоторые не имеющие ограничительного характера варианты осуществления настоящей технологии исходят из того, что это может быть достигнуто, по меньшей мере частично, за счет различия структур моделей из множества моделей машинного обучения.

[00141] В частности, в тех вариантах осуществления, где каждая из первой и второй моделей 502, 504 машинного обучения реализована как сверточная нейронная сеть, вторая модель 504 машинного обучения может содержать больше слоев, чем первая модель 502 машинного обучения. Таким образом, предполагается, что в любом случае вторая модель 504 машинного обучения обеспечивает более высокую точность прогнозов, чем первая модель 502 машинного обучения.

[00142] Можно утверждать, что в общем случае процессор сервера 235 и/или электронного устройства 210 выполняет два соответствующих процесса в отношении алгоритма 260 машинного обучения. Первый из этих двух процессов представляет собой процесс обучения, в котором процессор 110, например, сервера 235, обеспечивает обучение каждой из множества моделей машинного обучения в алгоритме 260 машинного обучения на основе множества обучающих цифровых объектов (также называемых здесь «обучающим набором данных»), чтобы сформировать на основе данных измерений, таких как трехмерное облако 312 точек участка 402 дороги, соответствующие прогнозы для внешнего объекта, такого как приближающееся транспортное средство 420 в примере на фиг. 4. Подробное описание процесса обучения приведено ниже со ссылкой на фиг. 7.

[00143] Второй процесс представляет собой процесс использования, в котором процессор 110, например, электронного устройства 210, выполняет обученный указанным способом алгоритм 260 машинного обучения, чтобы определить на основе трехмерного облака 312 точек прогноз для приближающегося транспортного средства 420 с учетом его признаков объекта. Подробное описание процесса использования приведено ниже со ссылкой на фиг. 9-11.

[00144] В соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии, как процесс обучения, так и процесс использования могут выполняться сервером 235 и/или процессором 110 электронного устройства 210 в описанной выше сетевой компьютерной среде 200.

Процесс обучения

[00145] Как указано выше, модель машинного обучения в алгоритме 260 машинного обучения может быть обучена на основе множества обучающих цифровых объектов. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, обучающий цифровой объект включает в себя (а) обучающий вектор признаков, содержащий признаки, представляющие заданную часть окружающего пространства 250 транспортного средства 220, и (б) метку, характеризующую местоположение и класс объектов по меньшей мере одного обучающего объекта, обнаруженного в заданной части окружающего пространства 250.

[00146] На фиг. 7 схематически изображено представление 700 участка 702 дороги для обучения, используемое в целях формирования обучающего цифрового объекта для обучения модели машинного обучения в алгоритме 260 машинного обучения, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00147] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающее представление 700 может формироваться на основе данных измерений лидарного датчика 300 и включать в себя обучающее трехмерное облако точек (не обозначено отдельно), представляющее участок 702 дороги для обучения. Должно быть понятно, что обучающее трехмерное облако точек может формироваться аналогично трехмерному облаку 312 точек, представляющему участок 402 дороги, то есть процессором 110, выполняющим процедуру 302 сбора лидарных данных, подробно описанную выше со ссылкой на фиг. 3.

[00148] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающее представление 700 может формироваться на основе данных измерений датчика 290 типа «камера» и, следовательно, включать в себя обучающее изображение (не обозначено отдельно), представляющее участок 702 дороги для обучения.

[00149] В некоторых других не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающее представление 700 может формироваться на основе данных измерений как лидарного датчика 300, так и датчика 290 типа «камера» и, следовательно, включать в себя смешанное представление (не обозначено отдельно) участка 702 дороги для обучения, которое содержит обучающее трехмерное облако точек, объединенное с обучающим изображением. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, чтобы получить смешанное представление участка дороги для обучения, обучающее изображение должно формироваться датчиком 290 типа «камера» одновременно с обучающим трехмерным облаком точек. Для этого перед формированием смешанного представления процессор 110 способен синхронизировать работу датчика 290 типа «камера» и лидарного датчика 300 таким образом, чтобы датчик 290 типа «камера» и лидарный датчик 300 могли одновременно формировать свои данные, представляющие заданную часть окружающего пространства 250 транспортного средства 220, такую как участок 702 дороги для обучения.

[00150] На способ синхронизации процессором 110 датчика 290 типа «камера» и лидарного датчика 300 не накладывается ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии такая синхронизация может предусматривать определение временного смещения между моментами формирования изображений датчиком 290 типа «камера» и данных трехмерного облака точек лидарным датчиком 300 при общем начале отсчета времени, как подробно описано в патентной заявке US2021190923A1 «Methods and systems for online synchronization of sensors of self-driving vehicles (SDV)» («Способы и системы для синхронизации датчиков беспилотных транспортных средств онлайн») этого же заявителя, опубликованной 24.06.2021, содержание которой полностью включено в настоящий документ посредством ссылки.

[00151] Кроме того, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, обучающий вектор признаков для участка 702 дороги для обучения может включать в себя множество признаков лидара, связанных с лидарными точками из обучающего трехмерного облака точек, представляющего участок 702 дороги для обучения. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, множество признаков лидара может включать в себя, среди прочего, (а) общее количество лидарных точек в обучающем трехмерном облаке точек и (б) значения интенсивности света во всех лидарных точках из обучающего трехмерного облака точек. При этом следует отметить, что вышеуказанные признаки лидара не имеют исчерпывающего характера, а множество признаков лидара для обучающего трехмерного облака точек в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии может включать в себя другие признаки лидара, такие как цвет поверхности на участке 702 дороги для обучения в месте отражения луча для каждой лидарной точки, расстояние от лидарного датчика 300 до каждой лидарной точки из обучающего трехмерного облака точек и т.д.

[00152] Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии метка для обучающего внешнего объекта 704 на участке 702 дороги для обучения может включать в себя (а) ограничивающую рамку 706, построенную вокруг обучающего внешнего объекта 704, и (б) признаки объекта, связанные с обучающим внешним объектом 704. Как указано выше, признаки объекта для обучающего внешнего объекта 704, как правило, зависят от его типа и в данном примере, где обучающим внешним объектом 704 является транспортное средство, могут включать в себя, среди прочего, (а) тип объекта, например, подвижный объект, (б) тип подвижного объекта, например, неодушевленный объект, (в) тип подвижного неодушевленного объекта, например, транспортное средство, (г) марку и модель приближающегося транспортного средства 420, (д) год выпуска приближающегося транспортного средства 420, (е) тип кузова приближающегося транспортного средства 420, например, седан, хетчбэк, универсал, минивэн и т.д., (ж) тип приближающегося транспортного средства 420 с точки зрения управления, например, традиционное (управляемое водителем) или самоуправляемое (то есть другой беспилотный автомобиль), (з) текущую скорость приближающегося транспортного средства 420 в прямом направлении 406, (и) расстояние 408 от транспортного средства 220 до приближающегося транспортного средства 420 и т.д.

[00153] В еще одном примере признаки объекта для другого обучающего внешнего объекта, которым является уличный фонарь (не обозначен отдельно), могут включать в себя, среди прочего, (а) тип объекта, например, неподвижный объект, (б) тип неподвижного объекта, например, элемент осветительного оборудования, (в) тип осветительного оборудования, например, уличный фонарь, (г) габаритные размеры уличного фонаря, (д) расстояние до уличного фонаря и т.д.

[00154] При этом на способ получения сервером 235 меток для каждого обучающего цифрового объекта из множества обучающих цифровых объектов не накладывается ограничений. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен передавать обучающее представление 700 участка 702 дороги для обучения с целью формирования меток, например, на сервер (не показан) краудсорсинговой интернет-платформы (такой как Amazon™ Mechanical Turk™, Yandex.Toloka™ и т.п.), с соответствующей задачей формирования меток. Например, задача формирования меток может включать в себя (а) построение вокруг каждого обучающего внешнего объекта на участке 702 дороги для обучения ограничивающей рамки, такой как ограничивающая рамка 706 вокруг обучающего внешнего объекта 704, и (б) определение по меньшей мере некоторых из признаков объекта для обучающего внешнего объекта 704, перечисленных выше неисчерпывающим образом. В ответ на это сервер краудсорсинговой интернет-платформы способен передавать обучающее представление 700 вместе с задачей формирования меток одному из множества людей-оценщиков, чьи электронные устройства связаны с сервером краудсорсинговой интернет-платформы. После выполнения человеком-оценщиком задачи формирования меток сервер краудсорсинговой интернет-платформы способен передавать размеченное таким способом обучающее представление 700 обратно на сервер 235 для использования в процессе обучения множества моделей машинного обучения из алгоритма 260 машинного обучения. Должно быть понятно, что сервер 235 способен отправлять на сервер краудсорсинговой интернет-платформы с целью формирования меток и множество обучающих представлений для других частей окружающего пространства 250. Кроме того, на основе размеченных таким способом обучающих представлений сервер 235 способен формировать другие обучающие цифровые объекты из множества обучающих цифровых объектов.

[00155] Таким образом, используя метку, связанную с обучающим внешним объектом 704, сервер 235 способен определять (а) местоположение обучающего внешнего объекта 704 в системе координат транспортного средства 220, и (б) класс объектов для обучающего внешнего объекта 704, включая его признаки.

[00156] Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии на основе ограничивающей рамки 706, полученной в составе метки для внешнего объекта 704, сервер 235 способен определять дополнительные обучающие признаки для обучающего вектора признаков заданного обучающего цифрового объекта. В частности, в этих вариантах осуществления такие дополнительные обучающие признаки могут отражать статистику охвата лидарными точками обучающих внешних объектов на участке 702 дороги для обучения. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, сервер 235 способен определять такие дополнительные обучающие признаки для обучающего цифрового объекта 704, используя лидарной точки, охваченные ограничивающей рамкой 706, то есть набор лидарных точек 708.

[00157] В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, дополнительные обучающие признаки для обучающего цифрового объекта 704 могут включать в себя, среди прочего, по меньшей мере один из следующих признаков:

- значение расстояния от транспортного средства 220 до обучающего внешнего объекта 704, например, значение расстояния 710;

- площадь поверхности ограничивающей рамки 706, связанной с обучающим внешним объектом 704;

- размеры ограничивающей рамки 706;

- количество лидарных точек из обучающего трехмерного облака 604 точек, попавших в ограничивающую рамку 706, то есть количество лидарных точек во множестве лидарных точек 708, содержащихся в этой рамке;

- плотность лидарных точек во множестве лидарных точек 708,

- значения интенсивности света в лидарных точках из множества лидарных точек 708; и

- средние значения расстояния от лидарных точек из множества лидарных точек 708.

[00158] Очевидно, что без отступления от существа и объема настоящей технологии возможно использование и других признаков (например, таких как текущая скорость), относящихся к обучающему трехмерному облаку точек и/или к обучающему изображению, которые представляют участок 702 дороги для обучения, и, в частности, к обучающему внешнему объекту 704, для обучения модели машинного обучения с целью обнаружения объектов в окружающем пространстве 250 транспортного средства 220.

[00159] Таким образом, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, сервер 235 способен формировать обучающий цифровой объект из множества обучающих цифровых объектов для обучения модели машинного обучения в алгоритме 260 машинного обучения. Подобным образом сервер 235 способен формировать и другие объекты из множества обучающих цифровых объектов, обрабатывая данные измерений, получаемые датчиком 290 типа «камера» и/или лидарным датчиком 300 и характеризующие другие участки дороги для обучения, как описано выше, и присваивая им соответствующие метки. При этом процессор 110 способен формировать тысячи или даже сотни тысяч обучающих цифровых объектов из множества обучающих цифровых объектов для обучения алгоритма 260 машинного обучения.

[00160] Кроме того, сервер 235 способен передавать каждый из множества обучающих цифровых объектов в модель машинного обучения. В частности, в тех вариантах осуществления, где модель машинного обучения реализована в виде вышеописанной нейронной сети, сервер 235 способен (а) передавать каждый из множества обучающих цифровых объектов в нейронную сеть и (б) за счет сведения к минимуму расхождения между текущим прогнозом, сформированным нейронной сетью на основе обучающего цифрового объекта, и соответствующей меткой определять веса всех узлов нейронной сети, например, с использованием алгоритма обратного распространения ошибки. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии расхождение между текущим прогнозом и соответствующей меткой может определяться функцией потерь. Примерами функции потерь, которые могут использоваться для обучения модели машинного обучения в алгоритме 260 машинного обучения, являются, среди прочего, функция потерь на основе среднеквадратической ошибки, функция потерь Хьюбера, кусочно-линейная функция потерь и т.д.

[00161] Соответственно, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен оптимизировать функцию потерь в ходе обучения модели машинного обучения так, чтобы обеспечивать требуемое значение метрики точности обнаружения объектов. Поскольку значение метрики точности обнаружения объектов, связанное с моделью машинного обучения, такой как первая модель 502 машинного обучения, может быть меньше значения, связанного со следующей по порядку моделью, такой как вторая модель 504 машинного обучения, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен использовать для обучения первой модели 502 машинного обучения меньше обучающих цифровых объектов из множества обучающих цифровых объектов, чем для обучения второй модели 504 машинного обучения, и т.д.

[00162] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен обучать каждую из множества моделей машинного обучения в алгоритме 260 машинного обучения не только на основе множества обучающих цифровых объектов, но и используя результаты работы предыдущей по порядку модели машинного обучения. Иными словами, подобно тому, как это описано выше со ссылкой на фиг. 5, сервер 235 способен передавать в модель машинного обучения вместе со множеством обучающих цифровых объектов соответствующий обучающий прогноз, сформированный предыдущей по порядку моделью машинного обучения.

[00163] В частности, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, сервер 235 способен передавать (а) множество обучающих цифровых объектов в первую модель 502 машинного обучения, (б) множество обучающих цифровых объектов и обучающий прогноз, сформированный первой моделью 502 машинного обучения, во вторую модель 504 машинного обучения, (в) множество обучающих цифровых объектов и обучающий прогноз, сформированный второй моделью 504 машинного обучения, в третью модель 506 машинного обучения, и (г) множество обучающих цифровых объектов и обучающий прогноз, сформированный предпоследней моделью машинного обучения (не показана), в последнюю модель 508 машинного обучения.

[00164] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен завершать обучение модели машинного обучения до начала использования ее обучающего прогноза для обучения следующей по порядку модели машинного обучения из множества моделей машинного обучения. В этих вариантах осуществления сервер 235 подобным образом способен оптимизировать значения функции потерь, характеризующие расхождение между обучающими прогнозами и соответствующими метками, последовательно для каждой из множества моделей машинного обучения.

[00165] При этом в других не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 способен применять «сквозной» подход к обучению множества моделей машинного обучения. В частности, в этих вариантах осуществления сервер 235 способен совместно обучать каждую из множества моделей машинного обучения за счет передачи в модель машинного обучения на данной итерации обучения (а) обучающего цифрового объекта и (б) значения обучающего прогноза, сформированного предыдущей по порядку моделью машинного обучения на этой итерации обучения. Должно быть понятно, что в этих вариантах осуществления сервер 235 способен оптимизировать значения функции потерь для всех моделей из множества моделей машинного обучения одновременно.

[00166] После обучения сервером 235 каждой из множества моделей машинного обучения в алгоритме 260 машинного обучения, таких как первая, вторая, третья и последняя модели 502, 504, 506 и 508 машинного обучения, процессор 110 сервера 235 или электронного устройства 210 способен использовать их с целью формирования соответствующих прогнозов для внешних объектов транспортного средства 220, как описано ниже.

Процесс использования

[00167] В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, для обнаружения внешних объектов для транспортного средства 220, таких как объекты на участке 402 дороги, показанном на фиг. 4, процессор 110 способен, используя алгоритм 260 машинного обучения, (а) получать от множества систем 280 датчиков транспортного средства 220 данные измерений, представляющие участок 402 дороги, например, соответствующее изображение (не обозначено отдельно) от датчика 290 типа «камера» и/или трехмерное облако 312 точек от лидарного датчика 300, (б) формировать на основе данных измерений для участка 402 дороги вектор признаков этапа использования и (в) передавать этот вектор признаков этапа использования в каждую из множества моделей машинного обучения.

[00168] В частности, как показано на фиг. 5 и 6, процессор 110 способен передавать в первую модель 502 машинного обучения вектор признаков этапа использования, представляющий участок 402 дороги, обеспечивая формирование первой моделью 502 машинного обучения первого прогноза 503 для внешнего объекта, такого как приближающееся транспортное средство 420. Как указано выше, первый прогноз 503 может представлять собой грубый прогноз, учитывающий небольшое количество признаков объекта для приближающегося транспортного средства 420. Например, в первом прогнозе 503 могут быть определены такие признаки объекта, как (а) тип объекта, то есть подвижный объект, (б) его габаритные размеры (представленные, например, ограничивающей рамкой) и (в) расстояние 408 до транспортного средства 220. Иными словами, используя первую модель 502 машинного обучения, процессор 110 способен определять представление 802 первого приближения для приближающегося транспортного средства 420, схематически изображенного на фиг. 8, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00169] Если время формирования первого прогноза 503 превышает первый заданный порог 602 времени, что свидетельствует о нехватке вычислительных ресурсов процессора 110, процессор 110 способен планировать движение транспортного средства 220, например, строить траекторию его движения, на основе первого прогноза 503.

[00170] При этом, если первая модель 502 машинного обучения формирует первый прогноз 503 в пределах первого заданного порога 602 времени, что свидетельствует о наличии достаточного количества вычислительных ресурсов для формирования более точных прогнозов для приближающегося транспортного средства 420, процессор 110 способен обеспечивать формирование второй моделью 504 машинного обучения второго прогноза 505 для приближающегося транспортного средства 420. Для этого в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 способен передавать во вторую модель 504 машинного обучения (а) вектор признаков этапа использования и (б) первый прогноз 503. В качестве альтернативы или в дополнение к признакам объекта из первого прогноза 503, второй прогноз 505 может включать в себя уточняющие признаки объекта для приближающегося транспортного средства 420, такие как (а) тип подвижного объекта, то есть транспортное средство, (б) направление движения приближающегося транспортного средства 420, то есть прямое направление 406, и т.д. Таким образом, например, процессор 110 способен определять представление 902 второго приближения для приближающегося транспортного средства 420, которое схематически изображено на фиг. 9, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00171] Кроме того, если время формирования второго прогноза 505 превышает второй заданный порог 604 времени, процессор 110 способен планировать движение транспортного средства 220 на основе второго прогноза 505.

[00172] При этом, если вторая модель 504 машинного обучения формирует второй прогноз 505 в пределах второго заданного порога 602 времени, что свидетельствует о наличии достаточного количества вычислительных ресурсов для формирования более точных прогнозов для приближающегося транспортного средства 420, процессор 110 способен обеспечивать формирование третьей моделью 506 машинного обучения третьего прогноза 507 для приближающегося транспортного средства 420. Для этого в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 способен передавать в третью модель 506 машинного обучения (а) вектор признаков этапа использования и (б) второй прогноз 505. В качестве альтернативы или в дополнение к признакам объекта из первого и второго прогнозов 503, 505, третий прогноз 507 может включать в себя новые уточняющие признаки объекта для приближающегося транспортного средства 420, такие как (а) текущая скорость приближающегося транспортного средства 420 в прямом направлении 406, (б) тип кузова приближающегося транспортного средства 420, например, седан, (в) марка приближающегося транспортного средства 420 и т.д. Таким образом, например, процессор 110 способен определять представление 1002 третьего приближения для приближающегося транспортного средства 420, которое схематически показано на фиг. 10, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[00173] Очевидно, что если время формирования третьего прогноза 507 превышает третий заданный порог 606 времени, процессор 110 способен планировать движение транспортного средства 220 на основе третьего прогноза 507. Кроме того, как и при формировании второго и третьего прогнозов 505, 507, процессор 110 способен обеспечивать формирование следующей по порядку моделью машинного обучения соответствующего прогноза, учитывающего еще больше данных о приближающемся транспортном средстве 420, таких как прогнозный показатель соблюдения правил дорожного движения водителем приближающегося транспортного средства 420, год выпуска приближающегося транспортного средства 420 и т.д.

[00174] Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 способен строить траекторию движения транспортного средства 220 на основе одного из первого, второго и третьего прогнозов 503, 505 и 507 для приближающегося транспортного средства 420. Например, процессор 110 способен обеспечивать замедление транспортного средства 220 перед перекрестком настолько, чтобы транспортное средство 220 успело уступить дорогу приближающемуся транспортному средству 420.

[00175] Таким образом, настоящие способы и системы позволяют более эффективно использовать вычислительные ресурсы электронного устройства 210 и/или сервера 235, обеспечивая построение траектории движения транспортного средства 220 исходя из текущей дорожной обстановки в течение требуемого интервала времени даже при нехватке вычислительных ресурсов процессора 110 электронного устройства 210 и/или сервера 235, необходимых для формирования высокоточных прогнозов для внешних объектов.

Способ

[00176] С учетом описанной выше архитектуры и приведенных примеров возможна реализация способа планирования движения беспилотного автомобиля и, в частности, построения траектории движения транспортного средства 220. На фиг. 11 представлена блок-схема способа 1100 в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии. Способ 1100 может быть реализован процессором 110. Процессор 110 может, например, входить в состав электронного устройства 210.

[00177] Как указано выше, процессор 110 способен выполнять алгоритм 260 машинного обучения, обученный обнаруживать объекты в окружающем пространстве 250 транспортного средства 220 (или иным образом иметь к нему доступ). В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, как подробно описано выше со ссылкой на фиг. 5, алгоритм 260 машинного обучения включает в себя множество моделей машинного обучения, последовательно соединенных друг с другом. В частности, множество моделей машинного обучения организовано таким образом, что выходные данные модели машинного обучения, например, первый прогноз 503 первой модели 502 машинного обучения, передаются на вход следующей по порядку модели машинного обучения из множества моделей машинного обучения, например, второй модели 504 машинного обучения.

[00178] Кроме того, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, модель машинного обучения из множества моделей машинного обучения способна формировать прогноз для внешнего объекта с более высокой точностью обнаружения объектов в сравнении с любой предыдущей моделью машинного обучения во множестве моделей машинного обучения. В частности, значение метрики точности обнаружения объектов, связанное с этой моделью машинного обучения, может превышать прочие значения, связанные с предыдущими моделями машинного обучения. В соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, метрика точности обнаружения объектов может включать в себя, например, среди прочего, метрику точности обнаружения объектов типа «средняя точность», метрику точности обнаружения объектов типа «отношение пересечения к объединению», метрику точности обнаружения объектов типа «именованная средняя точность» и/или метрику точности обнаружения объектов типа «точность и полнота».

[00179] Как указано выше, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, более высокое значение метрики точности обнаружения объектов, связанное с моделью машинного обучения, указывает на то, что эта модель машинного обучения в рамках своего прогноза способна определять больше признаков внешнего объекта, чем любая предыдущая модель машинного обучения из множества моделей машинного обучения в алгоритме 260 машинного обучения.

[00180] Как указано выше со ссылкой на фиг. 6, процессор 110 способен назначать каждой из множества моделей машинного обучения заданный порог времени с целью формирования этого прогноза для внешнего объекта.

[00181] Процессор 110 способен обучать каждую из множества моделей машинного обучения в алгоритме 260 машинного обучения, такую как первая, вторая, третья и последняя модели 502, 504, 506 и 508 машинного обучения, с целью формирования одного из первого, второго, третьего и последнего прогнозов 503, 505, 507 и 509, соответственно, как подробно описано выше со ссылкой на фиг. 7.

Шаг 1102: получение данных измерений, характеризующих окружающее пространство беспилотного автомобиля.

[00182] Способ 1100 начинается с шага 1102, на котором процессор 110 может получать данные измерений, характеризующие окружающее пространство транспортного средства 220, например, участок 402 дороги, который схематически показан на фиг. 4. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии данные измерений могут включать в себя (а) изображение участка 402 дороги, которое процессор 110 может получать от датчика 290 типа «камера» транспортного средства 220 и/или (б) трехмерное облако точек, такое как трехмерное облако 312 точек, которое процессор 110 может получать от лидарного датчика 300 транспортного средства 220, выполняя процедуру 302 сбора лидарных данных, описанную выше со ссылкой на фиг. 3.

[00183] Следующим шагом в способе 1100 является шаг 1104.

Шаг 1104: передача данных измерений в первую модель машинного обучения с целью формирования первой моделью машинного обучения первого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта.

[00184] На шаге 1104 в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии процессор 110 может передавать данные измерений в алгоритм 260 машинного обучения. В частности, как описано выше со ссылкой на фиг. 5 и 9-11, процессор 110 может передавать данные измерений в первую модель 502 машинного обучения, обеспечивая формирование первой моделью 502 машинного обучения первого прогноза 503 для внешнего объекта, такого как приближающееся транспортное средство 420 на участке 402 дороги, включая местоположение и класс объектов приближающегося транспортного средства 420.

[00185] Как указано выше, класс объектов включает в себя множество признаков внешнего объекта. Таким образом, первый прогноз 503 может представлять собой грубый прогноз для приближающегося транспортного средства 420, то есть включать в себя небольшое количество его признаков объекта, что позволяет процессору 110 определять представление 802 первого приближения для приближающегося транспортного средства 420, которое схематически изображено на фиг. 8.

[00186] Следующим шагом в способе 1100 является шаг 1106.

Шаг 1106: планирование движения беспилотного автомобиля на основе первого прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, превышает первый заданный порог времени, назначенный первой модели машинного обучения для формирования первого прогноза.

[00187] На шаге 1106, в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии, при обнаружении того, что время формирования первого прогноза 503 превышает первый заданный порог 602 времени, назначенный первой модели 502 машинного обучения, что свидетельствует о нехватке вычислительных ресурсов процессора 110, процессор 110 может строить траекторию движения транспортного средства 220 на основе первого прогноза 503.

[00188] Иными словами, если время формирования первого прогноза 503 превышает первый заданный порог 602 времени, процессор 110 может строить траекторию движения транспортного средства 220, используя первый прогноз 503 и не прибегая к следующим по порядку моделям машинного обучения для формирования более точных прогнозов для внешнего объекта.

[00189] Следующим шагом в способе 1100 является шаг 1108.

Шаг 1108: передача первого прогноза вместе с данными измерений во вторую модель машинного обучения с целью формирования второй моделью машинного обучения второго прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе второго прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, равно первому заданному порогу времени или меньше него.

[00190] На шаге 1108 при обнаружении того, что первая модель 502 машинного обучения оказалась в состоянии сформировать первый прогноз 503 в пределах первого заданного порога 602 времени, что свидетельствует о наличии достаточного количества вычислительных ресурсов для формирования более точного прогноза, процессор 110 может передавать (а) данные измерений и (б) первый прогноз 503 в следующую по порядку модель машинного обучения, то есть во вторую модель 504 машинного обучения. При этом процессор 110 обеспечивает формирование второй моделью 504 машинного обучения второго прогноза 505, в котором может учитываться больше признаков объекта для приближающегося транспортного средства 420, чем было определено первой моделью 502 машинного обучения для первого прогноза 503. На основе этих признаков процессор 110 может определять представление 902 второго приближения для приближающегося транспортного средства 420, которое схематически изображено на фиг. 9. Очевидно, что представление 902 второго приближения является более точным представлением приближающегося транспортного средства 420, чем представление 802 первого приближения.

[00191] Если время формирования второго прогноза 505 превышает второй заданный порог 604 времени, процессор 110 может строить траекторию движения транспортного средства 220 на основе второго прогноза. В противном случае процессор 110 может подобным образом обеспечивать формирование третьей моделью 506 машинного обучения третьего прогноза 507 для приближающегося транспортного средства 420, который является более точным (то есть учитывает большее количество признаков объекта), чем второй прогноз 505.

[00192] Таким образом, процессор 110 способен продолжать формирование следующими по порядку моделями машинного обучения более точных прогнозов для приближающегося транспортного средства 420 до тех пор, пока время формирования одного из этих прогнозов не превысит заданный порог времени, связанный с соответствующей моделью машинного обучения во множестве моделей машинного обучения.

[00193] Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 может строить траекторию движения транспортного средства 220 на основе одного из прогнозов, а именно - на основе наиболее точного прогноза с учетом доступных в данный момент вычислительных ресурсов процессора 110. В примере на фиг. 4 процессор 110 способен обеспечивать замедление транспортного средства 220 перед перекрестком настолько, чтобы транспортное средство 220 успело уступить дорогу приближающемуся транспортному средству 420, прежде чем выполнять поворот 404 направо.

[00194] Как указано выше, большинство вышеприведенных примеров иллюстрируют применение способа 110 для планирования движения транспортного средства 220, которое сводится к построению траектории его движения, но в более широких не имеющих ограничительного характера вариантах осуществления настоящей технологии способ 1100 может использоваться, с соответствующими изменениями, для определения тех или иных параметров движения транспортного средства 220 в заданный момент времени в будущем. Такие параметры движения могут включать в себя, среди прочего, расстояние перемещения, скорость и/или ускорение транспортного средства 220 в заданный момент времени в будущем.

[00195] На этом выполнение способа 1100 завершается.

[00196] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Приведенное выше описание включает в себя примеры реализации настоящей технологии и не носит ограничительного характера. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

[00197] Несмотря на то, что выше описаны варианты реализации с указанием конкретных шагов, выполняемых в определенном порядке, следует понимать, что некоторые из этих шагов могут быть объединены, разделены на части или переупорядочены без отступления от существа и объема настоящей технологии. Соответственно, порядок и группирование шагов не носят ограничительного характера для настоящей технологии.

Группа изобретений относится к способу и системе планирования движения беспилотного автомобиля. Автомобиль оснащен множеством датчиков. Датчики формируют данные измерений. Данные характеризуют окружающее пространство беспилотного автомобиля. Автомобиль связан с процессором. Процессор способен выполнять множество моделей машинного обучения (ММО), для обнаружения объектов в окружающем пространстве беспилотного автомобиля. ММО последовательно соединены друг с другом. Выход первой из множества ММО служит входом для второй ММО, следующей по порядку за первой моделью. Каждая из ММО обучена обнаружению объектов в окружающем пространстве беспилотного автомобиля на основе характеризующих его данных измерений. Последующая ММО способна обнаруживать объекты с соответствующим значением метрики точности обнаружения объектов. Значение метрики точности обнаружения объектов, превышает любое из значений, связанных с ММО, предшествующих этой последующей ММО. Достигается повышение эффективности и точности планирования движения беспилотного автомобиля в условиях ограниченности вычислительных ресурсов. 2 н. и 18 з.п. ф-лы, 11 ил.

1. Компьютерный способ планирования движения беспилотного автомобиля (SDC), оснащенного множеством датчиков, способных формировать данные измерений, характеризующие окружающее пространство беспилотного автомобиля, и связанного с процессором, способным выполнять множество моделей машинного обучения (ML) для обнаружения объектов в окружающем пространстве беспилотного автомобиля, причем:

- множество моделей машинного обучения последовательно соединены друг с другом таким образом, что выход первой модели машинного обучения из множества моделей машинного обучения служит входом для второй модели машинного обучения, следующей по порядку за первой моделью машинного обучения во множестве моделей машинного обучения;

- каждая из множества моделей машинного обучения обучена обнаружению объектов в окружающем пространстве беспилотного автомобиля на основе характеризующих его данных измерений; и

- последующая модель машинного обучения способна обнаруживать объекты с соответствующим значением метрики точности обнаружения объектов, при этом значение метрики точности обнаружения объектов, связанное с последующей моделью машинного обучения, превышает любое из значений, связанных с моделями машинного обучения из множества моделей машинного обучения, предшествующих этой последующей модели машинного обучения, а способ предусматривает:

- получение данных измерений, характеризующих окружающее пространство беспилотного автомобиля;

- передачу данных измерений во множество моделей машинного обучения, включая передачу данных измерений в первую модель машинного обучения для формирования первой моделью машинного обучения первого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта;

- планирование движения беспилотного автомобиля на основе первого прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, превышает первый заданный порог времени, назначенный первой модели машинного обучения для формирования первого прогноза; и

- передачу первого прогноза вместе с данными измерений во вторую модель машинного обучения для формирования второй моделью машинного обучения второго прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе второго прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, равно первому заданному порогу времени или меньше него.

2. Способ по п. 1, в котором первое время, затрачиваемое на формирование первого прогноза, характеризует текущую доступность вычислительных ресурсов процессора беспилотного автомобиля.

3. Способ по п. 1, который дополнительно предусматривает обучение каждой из множества моделей машинного обучения путем:

- формирования обучающего набора данных, содержащего множество обучающих цифровых объектов, каждый из которых включает в себя (а) обучающие данные измерений, характеризующие обучающее окружающее пространство беспилотного автомобиля, и (б) метку, представляющую класс объектов и местоположение по меньшей мере одного обучающего объекта в обучающем окружающем пространстве беспилотного автомобиля;

- передачи обучающих данных во множество моделей машинного обучения, включая передачу обучающих данных в первую модель машинного обучения из множества моделей машинного обучения и передачу процессором в последующую модель машинного обучения, следующую за первой моделью машинного обучения, (а) обучающих данных и (б) обучающего прогноза, сформированного моделью машинного обучения, предшествующей этой последующей модели; и

- оптимизации для каждой из множества моделей машинного обучения расхождения между обучающим прогнозом и соответствующей меткой с целью обучения каждой из множества моделей машинного обучения обнаружению объектов в окружающем пространстве беспилотного автомобиля.

4. Способ по п. 1, который дополнительно предусматривает передачу второго прогноза вместе с данными измерений в третью модель машинного обучения из множества моделей машинного обучения, следующую за второй моделью машинного обучения, для формирования третьей моделью машинного обучения третьего прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе третьего прогноза, если второе время, затрачиваемое на формирование второго прогноза второй моделью машинного обучения, равно второму заданному порогу времени, назначенному второй модели машинного обучения для формирования второго прогноза, или меньше него.

5. Способ по п. 1, который дополнительно предусматривает:

- передачу соответствующего прогноза вместе с данными измерений в очередную последующую модель машинного обучения из множества моделей машинного обучения, следующую за данной последующей моделью машинного обучения для формирования очередной последующей моделью машинного обучения другого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе прогноза, сформированного очередной последующей моделью машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, равно заданному порогу времени, назначенному модели машинного обучения для формирования этого прогноза, или меньше него; и

- планирование движения беспилотного автомобиля на основе прогноза, сформированного моделью машинного обучения, непосредственно предшествующей данной последующей модели машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, превышает заданный порог времени, назначенный модели машинного обучения для формирования этого прогноза.

6. Способ по п. 1, в котором значение метрики точности обнаружения объектов характеризует количество признаков объекта, определяемых в модели машинного обучения.

7. Способ по п. 6, в котором метрика точности обнаружения объектов представляет собой среднюю метрику точности.

8. Способ по п. 1, в котором модель из множества моделей машинного обучения представляет собой нейронную сеть.

9. Способ по п. 8, в котором последующая модель из множества моделей машинного обучения способна определять больше признаков по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля, чем любая модель машинного обучения, предшествующая этой последующей модели машинного обучения.

10. Способ по п. 9, в котором данная модель машинного обучения из множества моделей машинного обучения содержит больше слоев, чем любая модель машинного обучения, предшествующая этой данной модели машинного обучения.

11. Способ по п. 1, в котором планирование движения беспилотного автомобиля предусматривает построение траектории беспилотного автомобиля.

12. Способ по п. 1, в котором планирование движения беспилотного автомобиля предусматривает определение параметров движения беспилотного автомобиля, в том числе перемещения, скорости и/или ускорения беспилотного автомобиля в заданный момент времени в будущем.

13. Система планирования движения беспилотного автомобиля, оснащенного множеством датчиков, способных формировать данные измерений, характеризующие окружающее пространство беспилотного автомобиля, которая содержит по меньшей мере один процессор, связанный с беспилотным автомобилем и способный выполнять множество моделей машинного обучения для обнаружения объектов в окружающем пространстве беспилотного автомобиля, причем:

- множество моделей машинного обучения последовательно соединены друг с другом таким образом, что выход первой модели машинного обучения из множества моделей машинного обучения служит входом для второй модели машинного обучения, следующей по порядку за первой моделью машинного обучения во множестве моделей машинного обучения;

- каждая из множества моделей машинного обучения обучена обнаружению объектов в окружающем пространстве беспилотного автомобиля на основе характеризующих его данных измерений;

- последующая модель машинного обучения способна обнаруживать объекты с соответствующим значением метрики точности обнаружения объектов, при этом значение метрики точности обнаружения объектов, связанное с последующей моделью машинного обучения, превышает значения, связанные с моделями машинного обучения из множества моделей машинного обучения, предшествующими этой последующей модели машинного обучения; и

- система дополнительно содержит по меньшей мере одну физическую машиночитаемую память, хранящую исполняемые команды, при исполнении которых по меньшей мере одним процессором в системе обеспечивается:

- получение данных измерений, характеризующих окружающее пространство беспилотного автомобиля;

- передача данных измерений во множество моделей машинного обучения, включая передачу данных измерений в первую модель машинного обучения для формирования первой моделью машинного обучения первого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта;

- планирование движения беспилотного автомобиля на основе первого прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, превышает первый заданный порог времени, назначенный первой модели машинного обучения для формирования первого прогноза;

- передача первого прогноза вместе с данными измерений во вторую модель машинного обучения для формирования второй моделью машинного обучения второго прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе второго прогноза, если первое время, затрачиваемое на формирование первого прогноза первой моделью машинного обучения, равно первому заданному порогу времени или меньше него.

14. Система по п. 13, в которой первое время, затрачиваемое на формирование первого прогноза, характеризует текущую доступность вычислительных ресурсов процессора беспилотного автомобиля.

15. Система по п. 13, в которой по меньшей мере один процессор дополнительно обеспечивает в системе обучение каждой из множества моделей машинного обучения путем:

- формирования обучающего набора данных, содержащего множество обучающих цифровых объектов, каждый из которых включает в себя (а) обучающие данные измерений, характеризующие обучающее окружающее пространство беспилотного автомобиля, и (б) метку, представляющую класс объектов и местоположение по меньшей мере одного обучающего объекта в обучающем окружающем пространстве беспилотного автомобиля;

- передачи обучающих данных во множество моделей машинного обучения, включая передачу обучающих данных в первую модель машинного обучения из множества моделей машинного обучения, и передачу процессором в последующую модель машинного обучения, следующую за первой моделью машинного обучения, (а) обучающих данных и (б) обучающего прогноза, сформированного моделью машинного обучения, предшествующей этой последующей модели; и

- оптимизации для каждой из множества моделей машинного обучения расхождения между обучающим прогнозом и меткой с целью обучения каждой из множества моделей машинного обучения обнаружению объектов в окружающем пространстве беспилотного автомобиля.

16. Система по п. 13, в которой по меньшей мере один процессор дополнительно обеспечивает в системе передачу второго прогноза вместе с данными измерений в третью модель машинного обучения из множества моделей машинного обучения, следующую за второй моделью машинного обучения, для формирования третьей моделью машинного обучения третьего прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта в окружающем беспилотный автомобиль пространстве, а также планирование движения беспилотного автомобиля на основе третьего прогноза, если второе время, затрачиваемое на формирование второго прогноза второй моделью машинного обучения, равно второму заданному порогу времени, назначенному второй модели машинного обучения для формирования второго прогноза, или меньше него.

17. Система по п. 13, в которой по меньшей мере один процессор дополнительно обеспечивает в системе:

- передачу прогноза вместе с данными измерений в очередную последующую модель машинного обучения из множества моделей машинного обучения, следующую за данной последующей моделью машинного обучения для формирования очередной последующей моделью машинного обучения другого прогноза для (а) класса объектов по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля и (б) местоположения по меньшей мере одного объекта, а также планирование движения беспилотного автомобиля на основе прогноза, сформированного очередной последующей моделью машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, равно заданному порогу времени, назначенному модели машинного обучения для формирования этого прогноза, или меньше него; и

- планирование движения беспилотного автомобиля на основе прогноза, сформированного моделью машинного обучения, непосредственно предшествующей данной последующей модели машинного обучения, если время, затрачиваемое на формирование прогноза данной последующей моделью машинного обучения, превышает заданный порог времени, назначенный модели машинного обучения для формирования прогноза.

18. Система по п. 11, в которой значение метрики точности обнаружения объектов характеризует количество признаков объекта, определяемых в соответствующей модели машинного обучения.

19. Система по п. 18, в которой данная последующая модель из множества моделей машинного обучения способна определять больше признаков по меньшей мере одного объекта в окружающем пространстве беспилотного автомобиля, чем любая модель машинного обучения, предшествующая этой последующей модели машинного обучения.

20. Система по п. 19, в которой данная модель машинного обучения из множества моделей машинного обучения содержит больше слоев, чем любая модель машинного обучения, предшествующая этой данной модели машинного обучения.