Область техники, к которой относится изобретение
[001] Настоящая технология относится к лидарным системам в целом и, в частности, к способам и серверам для обновления представления карты.
Уровень техники
[002] В известных решениях предложены и реализованы компьютерные навигационные системы для оказания помощи в навигации и/или в управлении транспортными средствами. К ним относится целый ряд систем - от простых решений, основанных на определении местоположения по карте и использующих компьютерную систему для оказания помощи водителю в навигации на маршруте от пункта отправления до пункта назначения, до более сложных решений, таких как компьютеризированные и/или автономные системы вождения.
[003] Некоторые из таких систем реализованы в виде широко известной системы круиз-контроля. В системах этого типа компьютерная система, установленная на транспортном средстве, поддерживает заданную пользователем скорость транспортного средства. Некоторые системы круиз-контроля реализуют систему интеллектуального контроля дистанции, в которой пользователь может задавать расстояние до движущегося впереди автомобиля (например, выбирать значение, выраженное в количестве транспортных средств), а компьютерная система регулирует скорость транспортного средства, по меньшей мере частично, при его приближении к движущемуся впереди транспортному средству на заданное расстояние. Некоторые из систем круиз-контроля дополнительно оснащены системой предотвращения столкновений, которая при обнаружении транспортного средства (или других препятствий) перед движущимся транспортным средством замедляет или останавливает его.
[004] Некоторые из наиболее передовых систем обеспечивают полностью автономное движение транспортного средства без непосредственного участия оператора (т.е. водителя) в управлении. Такие автономные транспортные средства содержат системы, способные ускорять, замедлять, останавливать, перестраивать в другой ряд и самостоятельно парковать транспортное средство.
[005] Одной из основных технических проблем при реализации вышеуказанных систем является обеспечение способности обнаруживать объекты вокруг транспортного средства. В частности, в таких системах может возникать необходимость в обнаружении перед транспортным средством с установленной системой другого транспортного средства, которое представляет опасность для данного транспортного средства и может потребовать принятия системой упреждающих мер, таких как торможение или иное изменение скорости, остановка или перестроение в другой ряд. Кроме того, в таких системах может возникать необходимость в обнаружении пешеходов или животных, переходящих дорогу перед транспортным средством или двигающихся иным образом в окружающем пространстве транспортного средства.
[006] Обнаружение объектов с использованием лидара, как правило, предполагает испускание световых лучей в интересующую область и обнаружение отраженных световых лучей, в частности, от объектов в этой области, для формирования представления интересующей области, содержащей какие-либо объекты. В качестве источника излучения (света) часто используются лазеры, излучающие импульсы света в узком диапазоне длин волн. Положение объекта и расстояние до него могут быть определены, среди прочего, путем расчета времени пролета излученного и обнаруженного световых лучей. Вычисляя такие положения как «точки данных», можно сформировать многомерное цифровое представление окружающего пространства.
[007] Такое трехмерное представление частично создается за счет отраженных лучей, принимаемых лидаром, который формирует точки данных, представляющие объекты окружающего пространства. Эти точки образуют облака, характеризующие окружающее пространство и формирующие трехмерную карту. Каждая точка в таком облаке точек связана с координатами в пространстве координат. Кроме того, каждая точка может быть связана с некоторой дополнительной информацией, например, с расстоянием от самоуправляемого транспортного средства до объекта. С точками в облаке точек может быть связана и другая информация.
[008] Облака точек, полученные беспилотным автомобилем (SDC, Self-Driving Car), могут использоваться не только для обнаружения объектов в окружающем пространстве, но и для определения текущего местоположения беспилотного автомобиля. Такой процесс называется локализацией. Один из способов локализации основан на комбинировании имеющегося облака точек, полученного лидаром, и карты. Такая локализация может быть неудовлетворительной, особенно если карта неактуальна.
[009] В патентной публикации US 2019204092 раскрыто транспортное средство, осуществляющее локализацию для определения своего текущего местоположения во время движения с использованием различных методов локализации.
Раскрытие изобретения
[010] Таким образом, существует потребность в системах и способах, позволяющих исключить, уменьшить или преодолеть недостатки известных технических решений.
[011] Лазерные системы обнаружения и измерения дальности, т.е. лидарные (LIDAR, Light Detection and Ranging) системы, широко применяются в беспилотных транспортных средствах для обнаружения объектов и для навигации в окружающем пространстве. Они накапливают точки, соответствующие световым лучам, отраженным от объектов в окружающем пространстве, и формируют из них облако точек, которое служит трехмерным представлением карты окружающего пространства.
[012] В процессе навигации облака точек, полученные лидарной системой, наряду с представлением карты географического региона, в котором действует беспилотный автомобиль, могут использоваться для определения текущего местоположения беспилотного автомобиля. Соответственно, такие представления карты могут использоваться в беспилотных автомобилях для безопасной навигации к местам назначения без участия человека или с ограниченным участием человека.
[013] В некоторых вариантах осуществления представлением карты может являться карта высокого разрешения (HD, High Definition). В общем случае термин «карта высокого разрешения» относится к представлению карты, данные которого характеризуются очень низкой погрешностью, как правило, 5-10 см. Например, карты высокого разрешения могут содержать пространственную геометрическую информацию о дорогах, по которым может передвигаться беспилотный автомобиль. Таким образом, созданные карты высокого разрешения включают в себя информацию, необходимую для обеспечения безопасной навигации беспилотного автомобиля без вмешательства человека. В других вариантах осуществления предполагается, что представление карты может быть построено на основе данных лидара, полученных в географическом регионе, которые были объединены в один массив, представляющий этот географический регион. Карта высокого разрешения может быть представлена в виде облака точек, воксельного массива и/или объектно-ориентированной структуры.
[014] Как упоминалось выше, для навигации беспилотному автомобилю требуется осуществлять локализацию, то есть определять свое текущее местоположение с высокой точностью. Для определения текущего местоположения беспилотного автомобиля может применяться целый ряд методов локализации.
[015] В некоторых вариантах осуществления метод локализации может быть основан на одометрии, которая представляет собой процесс оценки относительного перемещения транспортного средства с использованием данных, последовательно получаемых датчиками транспортного средства. Одометрия может использоваться в алгоритме локализации при определении положения транспортного средства с целью осуществления локального поиска алгоритмом локализации. Кроме того, одометрия может использоваться в алгоритме локализации для оценки скорости и ускорения автомобиля путем экстраполяции положения транспортного средства в периоды между моментами снятия показаний датчиков, предназначенных для локализации. Например, в случае отказа каких-либо источников данных локализации беспилотный автомобиль может прибегать к одометрии для оценки своего перемещения относительно известного предыдущего положения по сигналам инерциального измерительного блока (IMU, Inertial Measurement Unit) или по сигналам управления транспортным средством. Другим методом локализации является лидарная локализация. Источники данных локализации на основе лидарной локализации предполагают различные варианты локализации по наземным или неназемным объектам, в которых осуществляются раздельная обработка и сравнительный анализ признаков наземных и неназемных объектов, лидарную локализацию, в которой осуществляются обработка и сравнительный анализ всех точек вместо точек с высокой интенсивностью сигнала, лидарную локализацию, в которой производится сопоставление цветов, лидарную локализацию, в которой разделяются искусственный ландшафт (твердые поверхности, например, поверхности зданий) и естественный ландшафт (растительность) и т.д. Еще одним методом локализации является локализация на основе признаков, в которой производится выделение признаков с использованием данных с датчиков, таких как изображения с камеры, а лидар сканирует эти признаки и сравнивает их с признаками на карте высокого разрешения, чтобы определять местоположение транспортного средства. В еще одном методе локализации для определения местоположения транспортного средства используется визуальная одометрия. В различных вариантах визуальной одометрии местоположение транспортного средства определяется путем сравнения различных признаков, выделенных на изображениях камеры, с признаками на карте, в частности, с рельефом поверхности, характерными признаками изображений, контурами и т.д. В еще одном методе локализации для определения местоположения транспортного средства используется лидарная одометрия. В различных вариантах лидарной одометрии применяется итеративный алгоритм ближайших точек (ICP, Iterative Closest Point) с попарным сравнением или итеративный алгоритм ближайших точек с многократным сканированием. Различные варианты указанных выше методов реализуются путем замены тех или иных параметров, таких как предельные количества итераций, радиус поиска, весовые коэффициенты и т.д. К другим методам локализации относятся локализация на основе глобальной навигационной спутниковой системы (GNSS, Global Navigation Satellite System) и одометрия на основе инерциального измерительного блока. В различных вариантах этих методов применяются разнообразные способы интегрирования и методы коррекции.
[016] Эффективность метода локализации может зависеть от различных факторов, например, от текущей окружающей обстановки, в которой находится автономное транспортное средство, включая геометрические характеристики структур вокруг автономного транспортного средства, идентифицируемые фотометрические признаки и т.д. Следует отметить, что эффективность методов локализации, в которых используются представления карты, снижается, когда представление карты становится неактуальным.
[017] В некоторых вариантах осуществления настоящей технологии разработаны способы и устройства для определения частей представления карты, нуждающихся в обновлении. В других вариантах осуществления разработаны способы и устройства, в которых для определения сходимости вероятных местоположений в заданной части представления карты могут применяться одна или несколько метрик. В дополнительных вариантах осуществления разработаны способы и устройства, которые позволяют оценивать достоверность результатов работы алгоритма локализации во время действий беспилотного автомобиля с тем, чтобы результаты работы алгоритма локализации исключались из массива данных, поступающих от различных источников данных локализации для управления беспилотным автомобилем, в тех случаях, когда алгоритм локализации признается неэффективным (например, формирующим расходящиеся вероятные местоположения) в рассматриваемой части представления карты.
[018] Можно утверждать, что в некоторых вариантах осуществления используются первое представление карты и второе представление карты. Второе представление карты может строиться по облакам точек для первой траектории. Для второй траектории локализация может оказываться неудовлетворительной при использовании первого представления карты и удовлетворительной при использовании второго представления карты. В некоторых вариантах осуществления первая траектория может использоваться в процессе предварительного выявления устаревших частей карты. В других вариантах осуществления, когда устанавливается, что та или иная часть карты является устаревшей, вторая траектория может использоваться для подтверждения необходимости обновления, а первая траектория - при фактическом обновлении.
[019] В соответствии с первым широким аспектом настоящей технологии реализован способ обновления представления карты географического региона. Представление карты создавалось на основе данных облака точек, собранных лидарной системой беспилотного автомобиля, действовавшего в этом географическом регионе. Способ реализуется на сервере. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, формирование сервером с помощью алгоритма локализации множества вероятных местоположений с использованием набора облаков точек и представления карты. Набор облаков точек связан с заданным местом. Заданное место находится в рассматриваемой части представления карты. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определение сервером с помощью метрики сходимости параметра для оценки качества локализации, обеспечиваемого алгоритмом локализации при нахождении беспилотного автомобиля в рассматриваемой части представления карты. Это параметр характеризует сходимость вероятных местоположений из множества вероятных местоположений. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, признание сервером рассматриваемой части представления карты устаревшей частью представления карты на основе этого параметра. Такое признание происходит, когда значение параметра превышает заданный пороговый радиус. Способ предусматривает обновление сервером устаревшей части представления карты с использованием данных облака точек, собранных лидарной системой.
[020] В некоторых вариантах осуществления параметр характеризует сходимость первого вероятного местоположения и второго вероятного местоположения в пределах заданного порогового значения.
[021] В некоторых вариантах осуществления способа первое вероятное местоположение представляет собой первое вероятное положение беспилотного автомобиля, причем заданным пороговым значением является заданный радиус, а рассматриваемая часть представления карты признается устаревшей частью представления карты, если первое вероятное положение и второе вероятное положение не попадают в окружность заданного радиуса.
[022] В некоторых вариантах осуществления способа первое вероятное местоположение дополнительно включает в себя первую вероятную ориентацию беспилотного автомобиля, причем заданным пороговым значением дополнительно является заданный угол, а рассматриваемая часть представления карты признается устаревшей частью представления карты, если первое вероятное положение и второе вероятное положение не попадают в окружность заданного радиуса и/или если первая вероятная ориентация и вторая вероятная ориентация не попадают в сектор заданного угла.
[023] В соответствии со вторым широким аспектом настоящей технологии реализован способ обновления представления карты географического региона. Представление карты создавалось на основе данных облака точек, собранных лидарной системой беспилотного автомобиля, действовавшего в этом географическом регионе. Способ реализуется на сервере. Способ предусматривает определение сервером предыдущей траектории беспилотного автомобиля в географическом регионе. Предыдущая траектория связана со множеством облаков точек из данных журнала беспилотного автомобиля. Множество облаков точек было получено лидарной системой во время движения беспилотного автомобиля по этой траектории в географическом регионе. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определение сервером первого облака точек из множества облаков точек, которые были получены лидарной системой в момент, соответствующий этой метке времени. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, расположенном в рассматриваемой части представления карты, формирование сервером с помощью алгоритма локализации первого вероятного местоположения на основе первого облака точек и представления карты. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определение сервером второго облака точек, связанного с заданным местом. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, формирование сервером с помощью алгоритма локализации второго вероятного местоположения на основе второго облака точек и представления карты. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определение сервером с помощью метрики сходимости параметра для оценки качества локализации, обеспечиваемого алгоритмом локализации в рассматриваемой части представления карты. Этот параметр характеризует сходимость первого вероятного местоположения и второго вероятного местоположения. Способ предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, признание сервером рассматриваемой части представления карты устаревшей частью представления карты на основе этого параметра. Способ предусматривает обновление сервером устаревшей части представления карты с использованием данных облака точек, собранных лидарной системой.
[024] В некоторых вариантах осуществления способа определение второго облака точек включает в себя формирование сервером на основе первого облака точек имитационного облака точек, являющегося ухудшенным вариантом первого облака точек.
[025] В некоторых вариантах осуществления способа ухудшенный вариант первого облака точек представляет собой первое облако точек без некоторого подмножества точек.
[026] В некоторых вариантах осуществления способа формирование имитационного облака точек включает в себя применение сервером фильтра, отражающего воздействие условий окружающей среды на первое облако точек.
[027] В некоторых вариантах осуществления способа условия окружающей среды представляют собой дождь, снег и/или грязь, препятствующие работе лидарной системы.
[028] В некоторых вариантах осуществления способа определение второго облака точек включает в себя определение сервером второго облака точек по данным журнала второго беспилотного автомобиля, действовавшего в географическом регионе и оснащенного второй лидарной системой, причем второе облако точек было получено второй лидарной системой, когда второй беспилотный автомобиль находился в заданном месте.
[029] В некоторых вариантах осуществления способа сервер выполнен с возможностью выполнять алгоритм машинного обучения (MLA, Machine Learning Algorithm). Способ дополнительно предусматривает формирование сервером обучающего набора, содержащего исходные данные для обучения, которые включают в себя представление карты, первое вероятное местоположение и первое облако точек, и обучающую метку, основанную на параметре. Способ дополнительно предусматривает обучение севером алгоритма машинного обучения для формирования второго параметра с использованием обучающего набора. Второй параметр указывает на способность алгоритма локализации формировать сходящиеся вероятные местоположения для беспилотного автомобиля в рассматриваемой части представления карты.
[030] В некоторых вариантах осуществления способа считается, что вероятные местоположения сходятся, если алгоритм локализации формирует вероятные местоположения, сходящиеся в пределах заданного порогового значения.
[031] В некоторых вариантах осуществления способа сервер выполнен с возможностью выполнять алгоритм машинного обучения. Способ дополнительно предусматривает формирование сервером обучающего набора, содержащего исходные данные для обучения, которые включают в себя представление карты, второе вероятное местоположение, второе облако точек и обучающую метку, основанную на параметре. Способ дополнительно предусматривает обучение севером алгоритма машинного обучения для формирования второго параметра с использованием обучающего набора. Второй параметр указывает на способность алгоритма локализации формировать сходящиеся вероятные местоположения для беспилотного автомобиля в рассматриваемой части представления карты.
[032] В некоторых вариантах осуществления способ дополнительно предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определение сервером с помощью второй метрики сходимости второго параметра для оценки качества локализации, обеспечиваемого алгоритмом локализации в рассматриваемой части представления карты. Второй параметр служит признаком склонности алгоритма локализации формировать расходящиеся вероятные местоположения для беспилотного автомобиля в рассматриваемой части представления карты. Способ дополнительно предусматривает для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, признание сервером рассматриваемой части представления карты устаревшей частью представления карты с использованием параметра и/или второго параметра.
[033] В соответствии с третьим аспектом настоящей технологии реализован способ управления действиями беспилотного автомобиля. Беспилотный автомобиль связан с лазерной системой обнаружения и измерения дальности (лидарной системой) и электронным устройством, содержащим процессор. Процессор выполнен с возможностью сбора данных от множества источников данных локализации для определения местоположения беспилотного автомобиля на представлении карты географического региона. Способ реализуется процессором. Способ предусматривает в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, формирование процессором с помощью алгоритма локализации вероятного местоположения беспилотного автомобиля на основе облака точек, полученного лидарной системой, представления карты и начального приближения текущего местоположения беспилотного автомобиля на представлении карты. Способ предусматривает в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, формирование процессором с помощью алгоритма машинного обучения параметра, указывающего на способность алгоритма локализации формировать сходящиеся вероятные местоположения беспилотного автомобиля в рассматриваемой части представления карты, включающей в себя текущее местоположение, при разнообразных условиях. Способ предусматривает в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, определение процессором на основе параметра того, является ли алгоритм локализации ненадежным источником данных локализации в рассматриваемой части представления карты. Способ предусматривает в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, определение сервером местоположения беспилотного автомобиля на основе данных из множества источников, с использованием данных, собранных от сокращенного множества источников данных локализации, которое представляет собой множество источников данных локализации за исключением алгоритма локализации. Способ предусматривает в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, управление процессором действиями беспилотного автомобиля, при котором в качестве текущего местоположения беспилотного автомобиля используется местоположение, определенное на основе данных из множества источников.
[034] В соответствии с четвертым аспектом настоящей технологии реализован сервер для обновления представления карты географического региона. Представление карты создавалось на основе данных облака точек, собранных лидарной системой беспилотного автомобиля, действовавшего в этом географическом регионе. Сервер способен определять предыдущую траекторию беспилотного автомобиля в географическом регионе, связанную со множеством облаков точек из данных журнала беспилотного автомобиля, которое было получено лидарной системой во время движения беспилотного автомобиля по этой траектории в географическом регионе. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определять первое облако точек из множества облаков точек, которые были получены лидарной системой в момент, соответствующий этой метке времени. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, расположенном в рассматриваемой части представления карты, формировать с помощью алгоритма локализации первое вероятное местоположение с использованием первого облака точек и представления карты. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определять второе облако точек, связанное с заданным местом. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, формировать с помощью алгоритма локализации второе вероятное местоположение на основе второго облака точек и представления карты. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, определять с помощью метрики сходимости параметр для оценки качества локализации, обеспечиваемого алгоритмом локализации в рассматриваемой части представления карты, который характеризует сходимость первого вероятного местоположения и второго вероятного местоположения. Сервер способен для метки времени на предыдущей траектории беспилотного автомобиля, когда беспилотный автомобиль находился в заданном месте географического региона, признавать рассматриваемую часть представления карты устаревшей частью представления карты на основе этого параметра. Сервер способен обновлять устаревшую часть представления карты с использованием данных облака точек, собранных лидарной системой.
[035] В некоторых вариантах осуществления сервера его способность определять второе облако точек включает в себя способность формировать с использованием первого облака точек имитационное облако точек, являющееся ухудшенным вариантом первого облака точек.
[036] В некоторых вариантах осуществления сервера ухудшенный вариант первого облака точек представляет собой первое облако точек без некоторого подмножества точек.
[037] В некоторых вариантах осуществления сервера его способность формировать имитационное облако точек включает в себя способность применять фильтр, отражающий воздействие условий окружающей среды на первое облако точек.
[038] В некоторых вариантах осуществления сервера условия окружающей среды представляют собой дождь, снег и/или грязь, препятствующие работе лидарной системы.
[039] В контексте данного описания термин «источник света» в широком смысле относится к любому устройству, способному испускать излучение, в частности, передавать сигнал в виде луча, например, среди прочего, светового луча с одной или несколькими длинами волн в спектре электромагнитного излучения. В одном примере осуществления источником света может быть лазерный источник. Таким образом, источник света может содержать лазер, например, твердотельный лазер, лазерный диод, лазер высокой мощности, или альтернативный источник света, например, источник света на основе светоизлучающих диодов. Некоторыми (не имеющими ограничительного характера) примерами лазерного источника являются лазерный диод Фабри-Перо, лазер на квантовых ямах, лазер с распределенным брэгговским отражателем (DBR, Distributed Bragg Reflector), лазер с распределенной обратной связью (DFB, Distributed FeedBack), волоконный лазер или поверхностно-излучающий лазер с вертикальным резонатором (VCSEL, Vertical-Cavity Surface-Emitting Laser). Кроме того, лазерный источник может излучать световые лучи в различных форматах, например, в виде световых импульсов, непрерывных колебаний, квазинепрерывных колебаний и т.д. В некоторых не имеющих ограничительного характера примерах лазерный источник может содержать лазерный диод, способный излучать свет с длиной волны в диапазоне приблизительно 650-1150 нм. В альтернативном варианте источник света может содержать лазерный диод, способный излучать световые лучи с длиной волны в диапазоне приблизительно 800-1000 нм, приблизительно 850-950 нм, приблизительно 1300-1600 нм или в любом другом подходящем диапазоне. Если не указано иное, термин «приблизительно» применительно к числовому значению определяется как отклонение, не превышающее 10% указанного значения.
[040] В контексте настоящего описания термин «выходной луч» может относиться к пучку излучения, например, к лучу света, формируемому источником излучения и направленному в сторону интересующей области. Выходной луч может характеризоваться одним или несколькими параметрами, такими как продолжительность излучения, угловая расходимость луча, длина волны, мгновенная мощность, плотность фотонов на разных расстояниях от источника света, средняя мощность, удельная мощность пучка, ширина луча, частота повторения импульсов излучения, последовательность излучаемых импульсов, скважность импульсов, длина волны, фаза и т.д. Выходной луч может быть неполяризованным или случайно поляризованным, может не иметь определенной или постоянной поляризации (например, поляризация может меняться со временем) или может иметь определенную поляризацию (например, линейную, эллиптическую или круговую поляризацию).
[041] В контексте настоящего описания «входной луч» представляет собой пучок излучения или света, попадающий в систему, как правило, после отражения от одного или нескольких объектов в интересующей области. «Входной луч» также может называться лучом излучения или световым лучом. Под термином «отраженный» подразумевается, что по меньшей мере часть выходного луча попадает на один или несколько объектов в интересующей области и отражается от них. Входной луч может характеризоваться одним или несколькими параметрами, такими как время пролета (т.е. время от момента излучения до момента обнаружения), мгновенная мощность (например, сигнатура мощности), средняя мощность обратного импульса, распределение фотонов в сигнале по периоду обратного импульса и т.д. В некоторых случаях применения часть излучения или света во входном луче может являться не отраженным выходным лучом, а излучением других источников. Например, по меньшей мере некоторая часть входного луча может представлять сбой световой шум из окружающего пространства (в том числе рассеянный солнечный свет) или от других источников света, внешних по отношению к данной системе.
[042] В контексте настоящего описания термин «окружающее пространство» или «окружающая среда» транспортного средства относится к области или объему вокруг этого транспортного средства, включая часть его текущей окружающей среды, доступную для сканирования с использованием одного или нескольких датчиков, установленных на этом транспортном средстве, например, для создания трехмерной карты окружающего пространства или для обнаружения в нем объектов.
[043] В контексте настоящего описания термин «интересующая область» в широком смысле может включать в себя часть наблюдаемого окружающего пространства лидарной системы, в которой могут быть обнаружены один или несколько объектов. Следует отметить, что на интересующую область лидарной системы могут влиять различные условия, такие как, среди прочего, ориентация лидарной системы (например, направление оптической оси лидарной системы), положение лидарной системы в окружающем пространстве (например, расстояние над поверхностью земли, а также рельеф местности и препятствия в непосредственной близи от системы), рабочие параметры лидарной системы (например, мощность излучения, вычислительные настройки, заданные углы работы) и т.д. Интересующая область лидарной системы может задаваться, например, плоским или телесным углом. В одном примере интересующая область также может быть задана диапазоном дальности (например, приблизительно до 200 м).
[044] В контексте настоящего описания «сервер» представляет собой компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать по сети запросы (например, от электронных устройств), а также выполнять эти запросы или инициировать их выполнение. Такие аппаратные средства могут быть реализованы в виде одного физического компьютера или одной физической компьютерной системы, что не имеет существенного значения для настоящей технологии. В данном контексте при употреблении выражения «сервер» не подразумевается, что какая-либо конкретная задача или все задачи (например, принятые команды или запросы) принимаются, выполняются или запускаются на одном и том же сервере (т.е. одними и теми же программными и/или аппаратными средствами), а имеется в виду, что участвовать в приеме, передаче, выполнении или инициировании выполнения каких-либо задач или запросов либо результатов каких-либо задач или запросов может любое количество программных или аппаратных средств, и все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем выражение «по меньшей мере один сервер» охватывает оба этих случая.
[045] В контексте настоящего описания «электронное устройство» представляет собой любые компьютерные аппаратные средства, способные обеспечивать работу программного обеспечения, подходящего для поставленной задачи. В контексте настоящего описания термин «электронное устройство» подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств, причем это не носит обязательного характера для настоящей технологии. Таким образом, примерами (не имеющими ограничительного характера) электронных устройств являются блок автономного вождения, персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, например, маршрутизаторы, коммутаторы и шлюзы. Следует понимать, что в данном контексте факт функционирования оборудования в качестве электронного устройства не означает, что оно не может функционировать в качестве сервера для других электронных устройств.
[046] В контексте данного описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя, среди прочего, визуальные произведения (например, карты), аудиовизуальные произведения (например, изображения, фильмы, звукозаписи, презентации и т.д.), данные (например, данные о местоположении, данные о погоде, данные о трафике, числовые данные и т.д.), текст (например, отзывы, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д.
[047] В контексте данного описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных и компьютерных аппаратных средств для хранения таких данных, их применения или обеспечения их использования иным способом. База данных может размещаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо в отдельных аппаратных средствах, таких как специализированный сервер или группа серверов.
[048] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. служат лишь для указания на различие между существительными, к которым они относятся, а не для описания каких-либо определенных взаимосвязей между этими существительными. Кроме того, как встречается в настоящем описании в другом контексте, ссылки на «первый» элемент и «второй» элемент не исключают того, что эти два элемента в действительности могут быть одним и тем же элементом.
[049] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или к одному из вышеупомянутых аспектов, но не обязательно ко всем ним. Следует понимать, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, не упомянутым здесь явным образом.
[050] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, на приложенных чертежах и в формуле изобретения.
Краткое описание чертежей
[051] Эти и другие признаки, аспекты и преимущества настоящей технологии содержатся в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.
[052] На фиг. 1 схематически представлен пример компьютерной системы, пригодной для реализации некоторых не имеющих ограничительного характера вариантов осуществления настоящей технологии.
[053] На фиг. 2 схематически представлена сетевая компьютерная среда, пригодная для использования с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[054] На фиг. 3 схематически представлен пример лидарной системы, реализованной в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[055] На фиг. 4 показаны данные, хранящиеся в устройстве хранения данных, к которому имеют доступ сервер и электронное устройство из сетевой компьютерной среды, представленной на фиг. 2.
[056] На фиг. 5 показано множество компьютерных процедур, выполняемых сервером и электронным устройством.
[057] На фиг. 6 показано, как определяется множество облаков точек, связанных с предыдущей траекторией транспортного средства из сетевой компьютерной среды, представленной на фиг. 2, и формируется имитационное облако точек в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[058] На фиг. 7 изображен алгоритм локализации, используемый для формирования вероятных местоположений транспортного средства.
[059] На фиг. 8 изображена первая метрика, применяемая к вероятным местоположениям, формируемым с помощью алгоритма локализации.
[060] На фиг. 9 показаны итерация обучения и итерация использования для второй метрики в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[061] На фиг. 10 представлена блок-схема способа, реализованного в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
Осуществление изобретения
[062] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Следует понимать, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.
[063] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалисты в данной области должны понимать, что различные варианты осуществления настоящей технологии могут быть значительно сложнее.
[064] В некоторых случаях приводятся предположительно полезные примеры модификаций настоящей технологии. Они призваны лишь способствовать пониманию и также не определяют объема или границ настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.
[065] Описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалисты в данной области техники должны понимать, что все приведенные здесь блок-схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих принципы настоящей технологии. Также следует понимать, что все блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором независимо от того, показан такой компьютер или процессор в явном виде или нет.
[066] Функции различных элементов, показанных на чертежах, включая все функциональные блоки, обозначенные как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных обеспечивать работу соответствующего программного обеспечения. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или несколькими отдельными процессорами, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные обеспечивать работу программного обеспечения, и может подразумевать, среди прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое ЗУ. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.
[067] Программные модули или просто модули, реализация которых предполагается на базе программных средств, могут быть представлены здесь в виде любого сочетания элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут реализовываться с помощью аппаратных средств, показанных явно или подразумеваемых.
[068] С учетом вышеизложенных принципов ниже рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.
Компьютерная система
[069] На фиг. 1 представлена схема компьютерной системы 100, подходящей для использования в некоторых вариантах осуществления настоящей технологии. Компьютерная система 100 содержит различные аппаратные элементы, включая один или несколько одноядерных или многоядерных процессоров, совместно представленных процессором 110, твердотельный накопитель 120 и память 130, которая может быть памятью с произвольным доступом или памятью любого другого вида.
[070] Связь между элементами компьютерной системы 100 может осуществляться через одну или несколько внутренних и/или внешних шин (не показаны), таких как шина PCI, шина USB, шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д., с которыми различные аппаратные элементы соединены электронными средствами. Согласно вариантам осуществления настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в память 130 и исполнения процессором 110 с целью определения наличия объекта. Например, программные команды могут входить в состав управляющего приложения транспортного средства, выполняемого процессором 110. Следует отметить, что компьютерная система 100 может содержать дополнительные и/или необязательные элементы (не показаны), например, модули передачи данных по сети, модули определения местоположения и т.д.
Сетевая компьютерная среда
[071] На фиг. 2 представлена сетевая компьютерная среда 200, пригодная для использования с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии. Сетевая компьютерная среда 200 содержит электронное устройство 210, связанное с транспортным средством 220 и/или с пользователем (не показан), который связан с транспортным средством 220 (в частности, с оператором транспортного средства 220). Сетевая компьютерная среда 200 также содержит сервер 235, соединенный с электронным устройством 210 через сеть 240 связи (например, через сеть Интернет и т.п., как более подробно описано ниже).
[072] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сетевая компьютерная среда 200 может содержать спутник глобальной системы позиционирования (GPS) (не показан), передающий сигнал GPS электронному устройству 210 и/или принимающий сигнал GPS от него. Следует понимать, что настоящая технология не ограничивается применением системы GPS и может быть реализована на базе любой другой технологии определения местоположения. Следует отметить, что спутник GPS может вовсе отсутствовать.
[073] Транспортное средство 220, с которым связано электронное устройство 210, может представлять собой любое транспортное средство для отдыха или иных целей, например, автомобиль индивидуального или коммерческого использования, грузовой автомобиль, мотоцикл и т.д. Несмотря на то, что транспортное средство 220 изображено как наземное транспортное средство, это не обязательно для каждого не имеющего ограничительного характера варианта осуществления настоящей технологии. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортным средством 220 может быть водное транспортное средство, например, лодка, или воздушное транспортное средство, например, беспилотный летательный аппарат.
[074] Транспортное средство 220 может управляться пользователем или представлять собой беспилотное транспортное средство. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предполагается, что транспортное средство 220 может быть реализовано в виде беспилотного автомобиля. Следует отметить, что при этом не накладывается ограничений на конкретные параметры транспортного средства 220, к числу которых, например, относятся производитель транспортного средства, модель транспортного средства, год выпуска транспортного средства, масса транспортного средства, размеры транспортного средства, распределение массы транспортного средства, площадь поверхности транспортного средства, высота транспортного средства, вид трансмиссии (например, с приводом на два или четыре колеса), вид шин, тормозная система, топливная система, пробег, идентификационный номер транспортного средства и рабочий объем двигателя.
[075] Согласно настоящей технологии, на реализацию электронного устройства 210 не накладывается особых ограничений. Например, электронное устройство 210 может быть реализовано в виде блока управления двигателем транспортного средства, центрального процессора транспортного средства, навигационного устройства транспортного средства (например, TomTom™, Garmin™), планшета, персонального компьютера, встроенного в транспортное средство 220, и т.д. Следует отметить, что электронное устройство 210 может быть связано или не связано с транспортным средством 220 постоянным образом. Дополнительно или в качестве альтернативы, электронное устройство 210 может быть реализовано в виде устройства беспроводной связи, такого как мобильный телефон (например, смартфон или радиотелефон). В некоторых вариантах осуществления электронное устройство 210 содержит дисплей 270.
[076] Электронное устройство 210 может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1, в зависимости от конкретного варианта осуществления. В некоторых вариантах осуществления электронное устройство 210 представляет собой бортовое компьютерное устройство и содержит процессор 110, твердотельный накопитель 120 и память 130. Иными словами, электронное устройство 210 содержит аппаратные средства и/или программное обеспечение и/или микропрограммное обеспечение либо их комбинацию для осуществления обработки данных, как более подробно описано ниже.
[077] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи представляет собой сеть Интернет. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи может быть реализована как любая подходящая локальная сеть (LAN, Local Area Network), глобальная сеть (WAN, Wide Area Network), частная сеть связи и т.п. Следует понимать, что варианты осуществления сети 240 связи приведены лишь в иллюстративных целях. Между электронным устройством 210 и сетью 240 связи предусмотрена линия связи (отдельно не обозначена), реализация которой зависит, среди прочего, от реализации электронного устройства 210. Для примера можно отметить, что в тех не имеющих ограничительного характера вариантах осуществления настоящей технологии, где электронное устройство 210 реализовано в виде устройства беспроводной связи, такого как смартфон или навигационное устройство, линия связи может быть реализована в виде беспроводной линии связи, но не ограничивается этим. Примерами беспроводных линий связи могут служить, помимо прочего, канал сети связи 3G, канал сети связи 4G и т.п. В сети 240 связи также может использоваться беспроводное соединение с сервером 235.
[078] В некоторых вариантах осуществления настоящей технологии сервер 235 реализован в виде компьютерного сервера и может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В одном не имеющем ограничительного характера примере сервер 235 реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™, но он также может быть реализован на базе любых других подходящих видов аппаратных средств, программного обеспечения и/или микропрограммного обеспечения либо их сочетания. В представленных не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 представляет собой одиночный сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 235 могут быть распределены между несколькими серверами (не показаны).
[079] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 электронного устройства 210 может быть связан с сервером 235 для получения одного или нескольких обновлений. Такие обновления могут включать в себя, среди прочего, обновления программного обеспечения, обновления карт, обновления маршрутов, обновления погодных данных и т.п. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 также способен отправлять на сервер 235 определенные рабочие данные, например, информацию о пройденных маршрутах, данные о дорожной обстановке, эксплуатационные данные и т.п. Некоторые или все такие данные, передаваемые между транспортным средством 220 и сервером 235, могут быть зашифрованы и/или обезличены.
[080] Следует отметить, что электронное устройство 210 может использовать разнообразные датчики и системы для сбора информации об окружающем пространстве 250 транспортного средства 220. Как показано на фиг. 2, транспортное средство 220 может быть оборудовано множеством систем 280 датчиков. Следует отметить, что для сбора различных видов данных об окружающем пространстве 250 транспортного средства 220 могут применяться различные системы датчиков из множества систем 280 датчиков.
[081] В одном примере множество систем 280 датчиков может содержать различные оптические системы, в том числе одну или несколько систем датчиков типа «камера», установленных на транспортном средстве 220 и связанных с процессором 110 электронного устройства 210. В целом, одна или несколько систем датчиков типа «камера» могут собирать данные изображения о разных частях окружающего пространства 250 транспортного средства 220. В некоторых случаях данные изображения, предоставленные одной или несколькими системами датчиков типа «камера», могут использоваться электронным устройством 210 для выполнения процедур обнаружения объектов. Например, электронное устройство 210 может передавать данные изображения, предоставленные одной или несколькими системами датчиков типа «камера», в нейронную сеть обнаружения объектов (ODNN, Object Detection Neural Network), обученную определению местоположения и классификации потенциальных объектов в окружающем пространстве 250 транспортного средства 220.
[082] В другом примере множество систем 280 датчиков может содержать одну или несколько систем датчиков типа «радиолокатор», установленных на транспортном средстве 220 и связанных с процессором 110. В целом, одна или несколько систем датчиков типа «радиолокатор» могут использовать радиоволны для сбора данных о разных частях окружающего пространства 250 транспортного средства 220. Например, одна или несколько систем датчиков типа «радиолокатор» могут собирать радиолокационные данные о потенциальных объектах в окружающем пространстве 250 транспортного средства 220 и такие данные могут относиться к расстоянию от системы датчиков типа «радиолокатор» до объектов, ориентации объектов, векторной и/или скалярной скорости объектов и т.п.
[083] Следует отметить, что множество систем 280 датчиков может включать в себя системы датчиков других типов в дополнение к тем, что описаны выше неисчерпывающим образом, в пределах объема настоящей технологии.
Лидарная система
[084] В соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии, как показано на фиг. 2, транспортное средство 220 оборудовано по меньшей мере одной лазерной системой обнаружения и измерения дальности (лидарной системой), например, лидарной системой 300, для сбора информации об окружающем пространстве 250 транспортного средства 220. Несмотря на то, что описание здесь приводится в контексте установки на транспортном средстве 220, также предполагается, что лидарная система 300 может работать автономно или с подключением к другой системе.
[085] В зависимости от варианта осуществления, транспортное средство 220 может содержать больше или меньше лидарных систем 300, чем показано на чертежах. В зависимости от конкретного варианта осуществления, выбор конкретных систем из множества систем 280 датчиков может зависеть от конкретного варианта осуществления лидарной системы 300. Лидарная система 300 может быть установлена на транспортном средстве 220 изначально или при его модернизации в разных местах и/или в разных конфигурациях.
[086] Например, в зависимости от исполнения транспортного средства 220 и лидарной системы 300, лидарная система 300 может быть установлена в верхней части лобового стекла транспортного средства 220 с его внутренней стороны. При этом, как показано на фиг. 2, установка лидарной системы 300 в других местах, включая заднее окно, боковые окна, передний капот, крышу, переднюю решетку, передний бампер и боковину транспортного средства 220, не выходит за пределы объема настоящей технологии. В некоторых случаях лидарная система 300 может монтироваться в специальном корпусе, установленном сверху транспортного средства 220.
[087] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения, например, в показанном на фиг. 2, одна из множества лидарных систем 300 установлена на крыше транспортного средства 220 и способна вращаться. Например, лидарная система 300, установленная на транспортном средстве 220 и способная вращаться, может содержать по меньшей мере некоторые элементы, способные поворачиваться на 360 градусов вокруг оси вращения лидарной системы 300. Лидарная система 300, установленная с возможностью вращения, может собирать данные о большей части окружающего пространства 250 транспортного средства 220.
[088] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии, таких как показанный на фиг. 2, лидарная система 300 установлена на боковой стороне или на передней решетке и не способна вращаться. В частности, лидарная система 300, установленная на транспортном средстве 220 без возможности вращения, может содержать по меньшей мере некоторые элементы, не способные поворачиваться на 360 градусов, но способные собирать данные о заданных частях окружающего пространства 250 транспортного средства 220.
[089] Независимо от конкретного места установки и/или конкретного варианта исполнения, лидарная система 300 способна собирать данные об окружающем пространстве 250 транспортного средства 220, например, для построения многомерной карты объектов окружающего пространства 250 транспортного средства 220. Ниже приводится описание устройства лидарных систем 300 с точки зрения сбора данных об окружающем пространстве 250 транспортного средства 220.
[090] Следует отметить, что в приведенном здесь описании лидарная система 300 реализована как «времяпролетная» лидарная система и в связи этим содержит соответствующие элементы, свойственные такой реализации, но также допускаются и другие варианты осуществления лидарной системы 300 без отклонения от существа и объема настоящей технологии. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии лидарная система 300 может быть также реализована как лидарная система с непрерывным частотно-модулированным сигналом (FMCW, Frequency-Modulated Continuous Wave) согласно одному или нескольким вариантам реализации и на базе соответствующих элементов, как изложено в патентной заявке RU 2020117983 «Способы и системы обнаружения лидаров»), поданной 1 июня 2020 года, содержание которой полностью включено в настоящий документ посредством ссылки.
[091] На фиг. 3 представлена схема одного конкретного варианта осуществления лидарной системы 300, реализованного в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[092] В общем случае лидарная система 300 содержит множество внутренних элементов, в том числе, (1) источник 302 света (также называемый «лазерным источником» или «источником излучения»), (2) светорасщепляющий элемент 304, (3) блок 308 сканирования (также называемый «сканером» или «сканирующим узлом»), (4) блок 306 обнаружения (также называемый «системой обнаружения», «приемным узлом» или «детектором») и (5) контроллер 310. Предполагается, что в дополнение к элементам, перечисленным выше неисчерпывающим образом, лидарная система 300 может содержать множество датчиков (например, датчик температуры, датчик влажности и т.д.), которые для простоты не показаны на фиг. 3.
[093] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии один или несколько внутренних элементов лидарной системы 300 размещены в общем корпусе 330, как показано на фиг. 3. В некоторых вариантах осуществления настоящей технологии контроллер 310 может быть расположен вне общего корпуса 330 и связан с находящимися в нем элементами. Согласно приведенному ниже описанию, корпус 330 имеет окно 380 со стороны окружающего пространства транспортного средства 220, через которое световые лучи выходят из корпуса 330 и входят в него.
[094] В общем случае лидарная система 300 работает следующим образом: источник 302 света лидарной системы 300 излучает импульсы света, формируя выходной луч 314, блок 308 сканирования сканирует выходным лучом 314 окружающее пространство 250 транспортного средства 220 через окно 380 для сбора данных о находящихся в нем заранее неизвестных объектах (таких как объект 320) и для определения их местоположения, например, с целью создания многомерной карты окружающего пространства 250, объекты (включая объект 320) на которой представляются в виде одной или нескольких точек данных. Источник 302 света и блок 308 сканирования более подробно описаны ниже.
[095] В некоторых не имеющих ограничительного характера примерах объект 320 может представлять собой, полностью или частично, человека, транспортное средство, мотоцикл, грузовик, поезд, велосипед, инвалидную коляску, детскую коляску, пешехода, животное, дорожный знак, светофор, разметку полосы движения, разметку дорожного покрытия, парковочное пространство, пилон, ограждение, дорожный барьер, выбоину, железнодорожный переезд, препятствие на дороге или рядом с ней, бордюр, остановившееся транспортное средство на дороге или рядом с ней, электрический столб, дом, здание, мусорный бак, почтовый ящик, дерево, а также любой другой подходящий объект или любое подходящее сочетание, полностью или частично, двух и более объектов.
[096] Предположим, что объект 320 расположен на некотором расстоянии 318 от лидарной системы 300. Когда выходной луч 314 достигает объекта 320, по меньшей мере часть света выходного луча 314, как правило, отражается от объекта 320, и некоторые из отраженных световых лучей могут вернуться в лидарную систему 300 в виде входного луча 316. Под термином «отражается» подразумевается, что по меньшей мере часть света выходного луча 314 отражается от объекта 320. Свет выходного луча 314 может частично поглощаться или рассеиваться объектом 320.
[097] Соответственно, входной луч 316 улавливается и регистрируется лидарной системой 300 с помощью блока 306 обнаружения. При этом блок 306 обнаружения способен формировать один или нескольких сигналов репрезентативных данных. Например, блок 306 обнаружения может формировать выходной электрический сигнал (не показан), представляющий входной луч 316. Кроме того, блок 306 обнаружения может передавать сформированный таким образом электрический сигнал в контроллер 310 для дальнейшей обработки. Наконец, измеряя время между моментом излучения выходного луча 314 и моментом приема входного луча 316, контроллер 310 вычисляет расстояние 318 до объекта 320.
[098] Как более подробно описано ниже, светорасщепляющий элемент 304 направляет выходной луч 314 от источника 302 света к блоку 308 сканирования, а входной луч 316 от блока сканирования - к блоку 306 обнаружения.
[099] Использование и варианты реализации этих элементов лидарной системы 300 в соответствии с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии описаны ниже.
Источник света
[0100] Источник 302 света связан с контроллером 310 и способен излучать свет с заданной рабочей длиной волны. Для этого в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может содержать по меньшей мере один лазер для работы на заданной рабочей длине волны. Рабочая длина волны источника 302 света может находиться в инфракрасной, видимой или ультрафиолетовой части электромагнитного спектра. Например, источник света 302 может содержать по меньшей мере один лазер с рабочей длиной волны в диапазоне приблизительно 650-1150 нм. В другом варианте источник 302 света может содержать лазерный диод, способный излучать свет с длиной волны в диапазоне приблизительно 800-1000 нм, приблизительно 850-950 нм или приблизительно 1300-1600 нм. В некоторых других вариантах осуществления изобретения источник 302 света может содержать светоизлучающий диод.
[0101] Как правило, источник 302 света лидарной системы 300 представляет собой безопасный для зрения лазер. Иными словами, лидарная система 300 может быть классифицирована как безопасная для зрения лазерная система или безопасное для зрения лазерное изделие. В общем случае безопасными для зрения лазером, лазерной системой или лазерным изделием может считаться система с таким сочетанием характеристик, а именно длины волны излучения, средней мощности, пиковой мощности, пиковой интенсивности, энергии импульса, размера луча, расходимости луча, длительности излучения, или с таким сканирующим выходным лучом, при котором вероятность нарушения зрения человека из-за воздействия излучаемого этой системой света мала или равна нулю.
[0102] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, рабочая длина волны источника 302 света может находиться в области электромагнитного спектра, соответствующей свету, который излучает Солнце. Поэтому в некоторых случаях солнечный свет может действовать как фоновый шум, способный маскировать световой сигнал, обнаруживаемый лидарной системой 300. Этот солнечный фоновый шум может приводить к ложным обнаружениям и/или иным образом искажать результаты измерений, выполняемых лидарной системой 300. Несмотря на то, что в отдельных случаях может быть целесообразно увеличивать отношение сигнал-шум (SNR, Signal-to-Noise Ratio) лидарной системы 300 за счет повышения уровня мощности выходного луча 314, в по меньшей мере некоторых обстоятельствах это нежелательно. Например, в некоторых вариантах реализации изобретения может быть нежелательным повышение мощности выходного луча 314 до уровня, превышающего безопасное для зрения пороговое значение.
[0103] Источник 302 света содержит импульсный лазер, способный формировать или излучать импульсы света определенной длительности. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может излучать импульсы с длительностью (т.е. с шириной импульса) в диапазоне от 10 пс до 100 нс. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может излучать импульсы с частотой повторения в диапазоне приблизительно от 100 кГц до 5 МГц или с периодом повторения импульсов (т.е. с временным интервалом между соседними импульсами) в диапазоне приблизительно от 200 нс до 10 мкс. В общем случае источник 302 света может формировать выходной луч 314 с любой подходящей средней оптической мощностью, а выходной луч 314 может представлять собой оптические импульсы с любой энергией импульса или пиковой оптической мощностью, подходящей для данной области применения.
[0104] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может содержать один или несколько лазерных диодов, в том числе, среди прочего, лазерный диод Фабри-Перо, лазер на квантовых ямах, лазер с распределенным брэгговским отражателем (DBR, Distributed Bragg Reflector), лазер с распределенной обратной связью (DFB, Distributed FeedBack) или поверхностно-излучающий лазер с вертикальным резонатором (VCSEL, Vertical-Cavity Surface-Emitting Laser). В качестве примера, лазерный диод в источнике 302 света может представлять собой лазерный диод на основе арсенида алюминия-галлия (AlGaAs), арсенида индия-галлия (InGaAs) или арсенид-фосфида индия-галлия (InGaAsP) или любой другой подходящий лазерный диод. Также предполагается, что источник 302 света может содержать один или несколько лазерных диодов с модуляцией током для формирования оптических импульсов.
[0105] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения источник 302 света, как правило, способен излучать выходной луч 314, который является коллимированным оптическим лучом, однако предполагается, что такой луч может иметь любую расходимость, подходящую для данной области применения. В общем случае расходимость выходного луча 314 является угловой мерой увеличения поперечного размера луча (например, радиуса или диаметра луча) по мере удаления выходного луча 314 от источника 302 света или лидарной системы 300. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 может иметь по существу круглое поперечное сечение.
[0106] Также предполагается, что выходной луч 314, излучаемый источником 302 света, может быть неполяризованным или случайно поляризованным, может не иметь определенной или постоянной поляризации (например, его поляризация может изменяться со временем) или может иметь определенную поляризацию (например, выходной луч 314 может иметь линейную, эллиптическую или круговую поляризацию).
[0107] В по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 и входной луч 316 могут быть по существу коаксиальными. Иными словами, входной луч 316 и выходной луч 314 могут по меньшей мере частично перекрываться или иметь общее направление распространения с тем, чтобы они проходили по существу по одному оптическому пути (но в противоположных направлениях). При этом в других не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 и входной луч 316 могут быть некоаксиальными или, иными словами, могут не перекрываться или не иметь общей оси распространения внутри лидарной системы 300 без отступления от существа и объема настоящей технологии.
[0108] Следует отметить, что в по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может поворачиваться, например, на угол на 360 градусов или меньше, вокруг оси вращения (не показана) лидарной системы 300, если лидарная система 300 выполнена с возможностью вращения. Тем не менее, в других вариантах осуществления источник 302 света может быть неподвижным, даже если лидарная система 300 реализована с возможностью вращения, без отступления от существа и объема настоящей технологии.
Светорасщепляющий элемент
[0109] Как показано на фиг. 3, дополнительно предусмотрен светорасщепляющий элемент 304, расположенный в корпусе 330. Например, как упоминалось ранее, светорасщепляющий элемент 304 способен направлять выходной луч 314 от источника 302 света к блоку 308 сканирования. Светорасщепляющий элемент 304 также способен направлять входной луч 316, отраженный от объекта 320, к блоку 306 обнаружения для его дальнейшей обработки контроллером 310.
[0110] При этом в соответствии с другими не имеющими ограничительного характера вариантами осуществления настоящей технологии, светорасщепляющий элемент 304 может расщеплять выходной луч 314 на по меньшей мере две составляющие меньшей интенсивности, в том числе на сканирующий луч (отдельно не показан) для сканирования окружающего пространства 250 лидарной системы 300 и опорный луч (отдельно не показан), который далее направляется к блоку 306 обнаружения.
[0111] Иными словами, можно утверждать, что в таких вариантах осуществления светорасщепляющий элемент 304 способен распределять интенсивность (оптическую мощность) выходного луча 314 между сканирующим лучом и опорным лучом. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии светорасщепляющий элемент 304 может распределять интенсивность выходного луча 314 между сканирующим лучом и опорным лучом в равной мере. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии светорасщепляющий элемент 304 может распределять интенсивность выходного луча 314 с любым заданным коэффициентом расщепления. Например, светорасщепляющий элемент 304 может использовать до 80% интенсивности выходного луча 314 для формирования сканирующего луча, а оставшуюся часть, составляющую до 20% интенсивности выходного луча 314, - для формирования опорного луча. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии светорасщепляющий элемент 304 может изменять коэффициент расщепления для формирования сканирующего луча (например, в диапазоне от 1% до 95% интенсивности выходного луча 314).
[0112] Также следует отметить, что некоторая доля (например, до 10%) интенсивности выходного луча 314 может поглощаться материалом светорасщепляющего элемента 304 в зависимости от конструкции последнего.
[0113] В зависимости от реализации лидарной системы 300, светорасщепляющий элемент 304 может быть представлен в различных формах, в том числе, среди прочего, как светорасщепляющий элемент на основе стеклянной призмы, светорасщепляющий элемент на основе полупосеребренного зеркала, светорасщепляющий элемент на основе дихроичной зеркальной призмы, волоконно-оптический светорасщепляющий элемент и т.п.
[0114] Таким образом, в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии, открытый перечень регулируемых параметров, связанных со светорасщепляющим элементом 304, в зависимости от конкретной области его применения, может включать в себя, например, рабочий диапазон длин волн, который может варьироваться от конечного числа длин волн до более широкого светового спектра (например, от 1200 до 1600 нм), входной угол падения, наличие или отсутствие поляризации и т.п.
[0115] В конкретном не имеющем ограничительного характера примере светорасщепляющий элемент 304 может быть реализован как волоконно-оптический светорасщепляющий элемент, выпускаемый компанией OZ Optics Ltd., 219 Westbrook Rd Ottawa, Ontario K0A 1L0, Canada (Канада). Должно быть понятно, что светорасщепляющий элемент 304 может быть реализован на базе любого другого подходящего оборудования.
Внутренние пути распространения лучей
[0116] Как схематически показано на фиг. 3, лидарная система 300 имеет множество внутренних путей 312 распространения лучей, по которым распространяются выходной луч 314 (формируемый источником 302 света) и входной луч 316 (принимаемый из окружающего пространства 250). В частности, свет распространяется по внутренним путям 312 распространения лучей следующим образом: свет от источника 302 света проходит через светорасщепляющий элемент 304 к блоку 308 сканирования, а блок 308 сканирования, в свою очередь, направляет выходной луч 314 наружу в окружающее пространство 250.
[0117] Входной луч 316 подобным образом проходит множество внутренних путей 312 распространения лучей к блоку 306 обнаружения. В частности, входной луч 316 направляется блоком 308 сканирования в лидарную систему 300 через светорасщепляющий элемент 304 к блоку 306 обнаружения. В некоторых вариантах реализации в лидарной системе 300 могут быть предусмотрены пути распространения лучей для прохождения входного луча 316 из окружающего пространства 250 непосредственно к блоку 306 обнаружения (минуя блок 308 сканирования).
[0118] Следует отметить, что в различных не имеющих ограничительного характера вариантах осуществления настоящей технологии множество внутренних путей 312 распространения лучей может содержать самые разные оптические элементы. Например, лидарная система 300 может содержать один или несколько оптических элементов, способных изменять параметры и форму, производить фильтрацию и модификацию, а также изменять или задавать направление выходного луча 314 и/или входного луча 316. Например, лидарная система 300 может содержать линзы, зеркала, фильтры (например, полосовые или режекторные), оптические волокна, циркуляторы, светорасщепители, поляризаторы, поляризационные светорасщепители, волновые (например, полуволновые или четвертьволновые) пластины, дифракционные элементы, микроэлектромеханические элементы, коллиматорные элементы или голографические элементы в количестве одной или нескольких единиц.
[0119] Предполагается, что в по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии на тех или иных внутренних путях распространения лучей из множества внутренних путей 312 распространения лучей могут совместно использоваться по меньшей мере несколько общих оптических элементов, хотя это не обязательно для всех вариантов осуществления настоящей технологии.
Блок сканирования
[0120] В общем случае блок 308 сканирования направляет выходной луч 314 по одному или нескольким направлениям в окружающее пространство 250. Блок 308 сканирования связан с контроллером 310. Соответственно, контроллер 310 способен управлять блоком 308 сканирования, направляя выходной луч 314 в нужном направлении и/или в соответствии с заданной схемой сканирования. В целом, в контексте настоящего описания под «схемой сканирования» подразумевается схема или траектория, по которой блок 308 сканирования направляет выходной луч 314 во время работы.
[0121] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 способен обеспечивать сканирование пространства выходным лучом 314 с помощью блока 308 сканирования в нескольких диапазонах горизонтальных и/или вертикальных углов, при этом полный диапазон углов, в котором блок 308 сканирования осуществляет сканирование пространства выходным лучом 314, в отдельных случаях называется здесь полем обзора. Предполагается, что расположение элементов, ориентация и/или угловые диапазоны могут зависеть от конкретной реализации лидарной системы 300. Поле обзора, как правило, включает в себя несколько интересующих областей, которые определяются как части поля обзора, которые могут содержать, например, представляющие интерес объекты. В некоторых вариантах реализации блок 308 сканирования может обследовать выбранную интересующую область 325. Интересующей областью 325 лидарной системы 300 может быть площадь, объем, область, угловой диапазон и/или часть (части) окружающего пространства 250, где лидарная система 300 способна выполнять сканирование и/или сбор данных.
[0122] Следует отметить, что интересующая область 325 лидарной системы 300 может перекрывать, охватывать или вмещать, по меньшей мере частично, место расположения объекта 320 в окружающем пространстве 250 транспортного средства 220.
[0123] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, блок 308 сканирования может сканировать пространство выходным лучом 314 по горизонтали и/или по вертикали, а интересующая область 325 лидарной системы 300, соответственно, может быть ориентирована в горизонтальном и/или в вертикальном направлении. Например, интересующая область 325 может быть ограничена углом 45° в горизонтальном направлении и углом 45° в вертикальном направлении. В некоторых вариантах реализации оси сканирования могут иметь разную ориентацию.
[0124] Блок 308 сканирования включает в себя первый отражающий элемент 350 и второй отражающий элемент 360. Первый отражающий элемент 350 способен перенаправлять выходной луч 314 от светорасщепляющего элемента ко второму отражающему элементу 350 при развертке выходного луча по первой оси. Второй отражающий элемент 360 способен перенаправлять выходной луч 314 от первого отражающего элемента 350 в окружающее пространство 250 (через окно 380 корпуса 330) при развертке выходного луча по второй оси. Вторая ось может быть перпендикулярна и/или ортогональна первой оси. Таким образом, перенаправление и развертка выходного луча 314 совместно первым отражающим элементом 350 и вторым отражающим элементом 360 позволяют сканировать окружающее пространство 250 транспортного средства 220 по меньшей мере по двум перпендикулярным (ортогональным) осям.
[0125] Можно утверждать, что блок сканирования способен сканировать окружающее пространство по двум осям. Например, первый отражающий элемент 350 может развертывать выходной луч 314 по первой оси, а второй отражающий элемент 360 - по второй оси. В одном из вариантов осуществления первая ось может быть вертикальной осью, а вторая ось - горизонтальной осью. В другом варианте осуществления первая ось может быть горизонтальной осью, а вторая ось - вертикальной осью.
[0126] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии данный блок сканирования может дополнительно содержать еще несколько оптических и/или механических элементов для обеспечения сканирования выходным лучом. Например, блок сканирования может содержать зеркала, призмы, линзы, микроэлектромеханические элементы, пьезоэлектрические элементы, оптические волокна, делители, дифракционные элементы, коллиматорные элементы и т.п. в количестве одной или нескольких единиц. Следует отметить, что блок сканирования также может содержать один или несколько дополнительных исполнительных механизмов (отдельно не показанных), приводящих в действие по меньшей мере некоторые другие оптические элементы, например, для их вращения, наклона, поворота или перемещения под углом относительно одной или нескольких осей.
[0127] Таким образом, как показано на фиг. 3, лидарная система 300 может использовать заданную схему сканирования для формирования облака точек, по существу охватывающего интересующую область 325 лидарной системы 300. Это облако точек лидарной системы 300 также может использоваться для визуализации многомерной карты объектов в окружающем пространстве 250 транспортного средства 220.
Блок обнаружения
[0128] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, блок 306 обнаружения связан с контроллером 310 и может быть реализован множеством способов. В соответствии с настоящей технологией, блок 306 обнаружения содержит фотодетектор, но может содержать фотоприемник, оптический приемник, оптический датчик, детектор, оптический детектор, оптические волокна и т.п., не ограничиваясь ими. Как указано выше, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии блок 306 обнаружения может принимать или обнаруживать по меньшей мере часть входного луча 316 и формировать электрический сигнал, соответствующий входному лучу 316. Например, если входной луч 316 включает в себя оптический импульс, блок 306 обнаружения может формировать импульс электрического тока или напряжения, соответствующий оптическому импульсу, обнаруженному блоком 306 обнаружения.
[0129] Предполагается, что в различных не имеющих ограничительного характера вариантах осуществления настоящей технологии блок 306 обнаружения может быть реализован с использованием одного или нескольких лавинных фотодиодов (APD, Avalanche Photo Diode), одного или нескольких однофотонных лавинных диодов (SPAD, Single-Photon Avalanche Diode), одного или нескольких PN-фотодиодов (т.е. фотодиодной структуры, образованной полупроводником p-типа и полупроводником n-типа), одного или несколько PIN-фотодиодов (т.е. фотодиодной структуры с нелегированной областью полупроводника с собственной проводимостью, расположенной между областями p-типа и n-типа) и т.п.
[0130] В некоторых не имеющих ограничительного характера вариантах осуществления блок 306 обнаружения также может содержать электронные схемы, выполняющие усиление, дискретизацию, фильтрацию сигнала, преобразование формы сигнала, аналого-цифровое преобразование, время-цифровое преобразование, детектирование импульсов, пороговое детектирование, детектирование переднего фронта, детектирование заднего фронта и т.п. Например, блок 306 обнаружения может содержать электронные элементы, способные преобразовывать принятый фототок (в частности, ток, создаваемый диодом APD под действием принимаемого оптического сигнала) в сигнал напряжения. Блок 306 обнаружения также может содержать дополнительные схемы для формирования аналогового или цифрового выходного сигнала, соответствующего одной или нескольким характеристикам (например, переднему фронту, заднему фронту, амплитуде, длительности и т.п.) принятого оптического импульса.
[0131] Разработчики настоящей технологии учли, что фотодетектор действует, когда к нему приложено рабочее напряжение (например, напряжение обратного смещения). Значение рабочего напряжения может варьироваться, среди прочего, в зависимости от варианта реализации настоящей технологии. Разработчики настоящей технологии также учли, что рабочие параметры фотодетектора (такие как рабочее напряжение) при активном использовании лидарной системы могут ухудшаться и/или изменяться, в частности, в зависимости от влажности, температуры, перемещения, освещенности и т.д. Следовательно, для обеспечения требуемого качества данных, формируемых лидарной системой, целесообразно постоянно калибровать и/или регулировать один или несколько рабочих параметров фотодетектора.
[0132] В контексте настоящей технологии значение напряжения, устанавливаемое фотодетектором в процессе калибровки в ответ на прием особого обратного светового луча, сравнивается с базовым значением напряжения. В частности, в процессе калибровки блок 308 сканирования способен перенаправлять поступающий световой луч к внутренней поверхности корпуса 330, не допуская его выхода из корпуса 330. При этом обратный световой луч отражается к фотодетектору блока 306 обнаружения от внутренней поверхности корпуса 330, а не поступает туда из окружающего пространства.
[0133] Как указано выше, значение напряжения, устанавливаемое в ответ на улавливание особого обратного светового луча, сравнивается с базовым значением напряжения. В общем случае базовое значение напряжения характеризует значение напряжения, которое устанавливается фотодетектором, находящимся в калиброванном состоянии (т.е. в нормальном или базовом рабочем состоянии), в ответ на улавливание особого обратного светового луча. Таким образом, калибровка фотодетектора выполняется по разности между этими двумя значениями напряжения.
[0134] Способность блока сканирования, предусмотренного в некоторых вариантах осуществления настоящей технологии, формировать особый обратный световой луч для калибровки блока обнаружения более подробно описана ниже со ссылкой на фиг. 6 и 7.
Контроллер
[0135] В зависимости от реализации, контроллер 310 может содержать один или несколько процессоров, специализированную интегральную схему (ASIC, Application-Specific Integrated Circuit), программируемую вентильную матрицу (FPGA, Field-Programmable Gate Array) и/или другие подходящие схемы. Контроллер 310 также может содержать физическую машиночитаемую память для хранения команд, выполняемых контроллером 310, а также данных, которые контроллер 310 может формировать на основе сигналов, полученных от других внутренних элементов лидарной системы 300, и/или сигналов, выдаваемых другим внутренним элементам лидарной системы 300. Память может содержать энергозависимые (например, ОЗУ) и/или энергонезависимые (например, флэш-память, жесткий диск) элементы. Контроллер 310 может формировать данные во время работы и сохранять их в памяти. Например, такие данные, создаваемые контроллером 310, могут быть связаны с точками данных в облаке точек лидарной системы 300.
[0136] Предполагается, что в по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 может быть реализован аналогично электронному устройству 210 и/или компьютерной системе 100 без отступления от существа и объема настоящей технологии. В дополнение к сбору данных от блока 306 обнаружения, контроллер 310 также может выдавать управляющие сигналы для источника 302 света и блока 308 сканирования и, возможно, принимать от них данные диагностики.
[0137] Как указано выше, контроллер 310 связан с источником 302 света, блоком 308 сканирования и блоком 306 обнаружения. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 может принимать электрические пусковые импульсы от источника 302 света, причем каждый электрический пусковой импульс соответствует излучению оптического импульса источником 302 света. Контроллер 310 может дополнительно выдавать источнику 302 света команды, управляющий сигнал и/или пусковой сигнал, указывающие на то, когда источник 302 света должен формировать оптические импульсы, например, для выходного луча 314.
[0138] В качестве примера, контроллер 310 может выдавать электрический пусковой сигнал, содержащий электрические импульсы, чтобы источник 302 света излучал оптический импульс, представленный выходным лучом 314, в ответ на каждый импульс электрического пускового сигнала. Также предполагается, что контроллер 310 может обеспечивать изменение источником 302 света одной или нескольких характеристик выходного луча 314, создаваемого источником 302 света, таких как, среди прочего, частота, период, длительность, энергия импульса, пиковая мощность, средняя мощность и длина волны оптических импульсов.
[0139] В соответствии с настоящей технологией контроллер 310 способен определять значение «времени пролета» оптического импульса для вычисления расстояния между лидарной системой 300 и одним или несколькими объектами в поле обзора, как описано ниже. Время пролета определяется на основе информации о времени, связанной (1) с первым моментом времени, когда оптический импульс (например, выходной луч 314) был излучен источником 302 света, и (2) со вторым моментом времени, когда часть этого оптического импульса (например, из входного луча 316) была зарегистрирована или принята блоком 306 обнаружения. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии первый момент времени может соответствовать моменту передачи контроллером 310 электрического импульса, связанного с оптическим импульсом, а второй момент времени может соответствовать моменту приема контроллером 310 от блока 306 обнаружения электрического сигнала, сформированного в ответ на прием части оптического импульса входного луча 316.
[0140] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии, в которых светорасщепляющий элемент 304 способен расщеплять выходной луч 314 на сканирующий луч (не показан) и опорный луч (не показан), первый момент времени может представлять собой момент приема от блока 306 обнаружения первого электрического сигнала, сформированного в ответ на прием части опорного луча. Соответственно, в этих вариантах осуществления второй момент времени может быть определен как момент приема контроллером 310 от блока 306 обнаружения второго электрического сигнала, сформированного в ответ на прием другой части оптического импульса входного луча 316.
[0141] В соответствии с настоящей технологией контроллер 310 способен определять на основе первого и второго моментов времени значение времени пролета и/или величину фазовой модуляции излученного импульса выходного луча 314. Значение времени T пролета в некотором смысле представляет собой время прохождения излученного импульса «туда и обратно», т.е. от лидарной системы 300 до объекта 320 и обратно до лидарной системы 300. Таким образом, контроллер 310 в общем случае способен определять расстояние 318 по следующей формуле:
где D - расстояние 318, T - время пролета, а c - скорость света (приблизительно 3,0×108 м/с).
[0142] Как упоминалось ранее, лидарная система 300 может использоваться для определения расстояния 318 до одного или нескольких других потенциальных объектов, расположенных в окружающем пространстве 250. Производя сканирование выходным лучом 314 интересующей области 325 лидарной системы 300 в соответствии с заданной схемой сканирования, контроллер 310 способен отображать расстояния (аналогичные расстоянию 318) до соответствующих точек данных в интересующей области 325 лидарной системы 300. При этом контроллер 310, как правило, способен представлять эти поочередно получаемые точки данных (например, облака точек) в виде многомерной карты. В некоторых вариантах реализации данные, связанные с определенным временем пролета и/или с расстояниями до объектов, могут отображаться в различных информационных форматах.
[0143] Например, такая многомерная карта может использоваться электронным устройством 210 для обнаружения объектов или идентификации их иным образом либо для определения формы или расстояния до потенциальных объектов в интересующей области 325 лидарной системы 300. Предполагается, что лидарная система 300 способна многократно или итеративно получать и/или формировать облака точек с любой скоростью, пригодной для данного применения.
[0144] Следует отметить, что многомерные карты могут записываться и храниться в составе данных журнала, связанных с транспортным средством 220. Таким образом, данные облаков точек, полученные лидарными системами на транспортных средствах из парка транспортных средств, могут сохраняться для последующего использования. Кроме того, многомерные карты, полученные той или иной лидарной системой, обеспечивают определение местоположения беспилотного автомобиля во время его работы. В приведенном ниже описании поясняется, как можно определять местоположение транспортного средства 220, используя данные облаков точек, полученные лидарной системой во время работы.
Хранение данных
[0145] На фиг. 4 представлено устройство 400 хранения данных. Устройство 400 хранения данных может быть связано с сервером 235 и с электронным устройством 210 транспортного средства 220. Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для хранения данных, собранных во время работы транспортного средства 220. Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для выявления по меньшей мере части подлежащих обновлению сохраненных данных. Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для извлечения данных, подлежащих использованию во время работы транспортного средства 220.
[0146] В некоторых вариантах осуществления настоящей технологии устройство 400 хранения данных может получать данные, собранные датчиками на множестве транспортных средств 404, например, включающем в себя сотни или тысячи транспортных средств, реализованных аналогично транспортному средству 220. Транспортные средства собирают данные с датчиков, полученные во время движения по различным маршрутам, и передают их в устройство 400 хранения данных. В связи с этим можно утверждать, что устройство 400 хранения данных может хранить данные 406 журнала для множества транспортных средств 404 (парка транспортных средств).
[0147] В других вариантах осуществления настоящей технологии сервер 235 может использовать данные 406 журнала для создания и/или обновления представления 402 карты географического региона, в котором действует и/или действовало множество транспортных средств 404. Предполагается, что сервер 235 может формировать представление 402 карты географического региона на основе совокупной информации, полученной от множества транспортных средств 404, и сохранять представление 402 карты в устройстве 400 хранения данных.
[0148] Сервер 235 способен передавать данные, характеризующие представление 402 карты, в электронные устройства, связанные с соответствующими транспортными средствами из множества транспортных средств 404. Например, если транспортное средство 220 должно двигаться по некоторому маршруту, электронное устройство 210 может предоставлять серверу 235 информацию с описанием проходимого маршрута. В ответ на это сервер 235 передает представление 402 карты (или его части) для обеспечения движения по маршруту. Предполагается, что без отступления от существа и объема настоящей технологии представление 402 карты может периодически передаваться для локального хранения в электронном устройстве 210 с целью его использования.
[0149] В одном из вариантов осуществления сервер 235 передает части представления 402 карты в транспортные средства в сжатом формате с тем, чтобы передаваемые данные занимали меньшую полосу пропускания канала связи. Сервер 235 может получать от различных транспортных средств информацию с описанием данных, которые локально хранятся на электронном устройстве 210. Если сервер 235 обнаруживает, что в локальной памяти транспортного средства 220 отсутствует какая-либо часть представления 402 карты, сервер 235 может передавать эту часть представления 402 карты. Если сервер 235 обнаруживает, что транспортное средство 220 уже получало эту конкретную часть представления карты, но соответствующие данные были обновлены сервером 235 после последнего получения данных транспортным средством 220, сервер 235 может передавать обновление для этой части представления 402 карты электронному устройству 210.
[0150] Следует отметить, что сервер 235 может формировать представление 402 карты на основе данных 406 журнала. Сервер 235 обновляет сформированные ранее данные карты, получая более актуальную информацию от транспортных средств, недавно передвигавшихся по маршрутам, для которых изменились данные карты. В одном из вариантов осуществления на сервере 235 могут использоваться методы сопоставления карт на основе итеративных алгоритмов ближайших точек (и их вариантов), которые обеспечивают установление связи между максимально близкими точками на различных картах облаков из данных 406 журнала, что позволяет объединять их и расширять представление карты географического региона, для которого собирались данные облаков из данных 406 журнала.
Компьютерные процедуры
[0151] На фиг. 5 представлено множество компьютерных процедур 500, которые могут выполняться по меньшей мере одним сервером 235 и электронным устройством 210.
[0152] Множество компьютерных процедур 500 включает в себя алгоритм 502 обновления карты. Когда рассматриваемая часть представления 402 карты признается устаревшей, сервер 235 может получать данные наиболее актуальных облаков точек, связанные с рассматриваемой частью представления 402 карты, и использовать один или несколько методов сопоставления карт, например, на основе итеративных алгоритмов ближайших точек, для установления связи между максимально близкими точками в этих наиболее актуальных облаках точек с целью их объединения и замены рассматриваемой части представления 402 карты. В некоторых вариантах осуществления, когда значение по меньшей мере одной из двух метрик указывает на то, что часть представления 402 карты подлежит обновлению, сервер 235 может выполнять алгоритм 502 обновления карты для получения соответствующих наиболее актуальных облаков точек и запускать один или несколько методов сопоставления карт. В дополнительных вариантах осуществления, если оказывается, что наиболее актуальные облака точек были сформированы раньше заданного момента времени, алгоритм 502 обновления карты может отложить обновление до получения более актуальных облаков точек в рассматриваемой части представления 402 карты.
[0153] Множество компьютерных процедур 500 включает в себя процедуру 502 слияния данных с датчиков. В общем случае слияние данных с датчиков представляет собой метод объединения данных, полученных из различных источников, для формирования согласованной информации. Итоговая информация может оказаться более точной, чем информация из отдельных источников. Такой метод обработки данных может быть особенно эффективен при объединении различных видов информации. Например, компьютерное зрение может быть реализовано с помощью камеры, а дополнительная информация о препятствиях и расстояниях может собираться с помощью других датчиков, например, лидарного датчика и/или датчика типа «радиолокатор». Для обобщения информации об окружающем пространстве транспортного средства 220, полученной из нескольких источников, могут использоваться один или несколько методов слияния данных с датчиков. В некоторых вариантах осуществления могут применяться начальное слияние данных с датчиков и/или конечное слияние данных с датчиков. В методах начального слияния данных с датчиков трехмерные облака точек объединяются с двумерными изображениями. При начальном слиянии данных с датчиков объединяются не результаты обнаружения, а исходные (необработанные) данные, такие как пиксели и облака точек. Можно утверждать, что при начальном слиянии данных с датчиков перед обнаружением объекта выполняется проецирование из трехмерного пространства в двумерное. Конечное слияние данных с датчиков производится после обнаружения и отслеживания объекта.
[0154] Множество компьютерных процедур 500 включает в себя алгоритм 750 локализации. Как описано ниже, алгоритм 750 локализации способен формировать вероятное местоположение транспортного средства 220 на основе представления 402 карты, заданного облака точек, полученного транспортным средством 220, и начального приближения текущего местоположения транспортного средства 220. В одном из вариантов осуществления алгоритм локализации 750 может применять к данным облака точек и к представлению 402 карты тот или иной итеративный алгоритм ближайших точек. В общем случае в процессе работы итеративного алгоритма ближайших точек одно облако точек (облако вершин) - контрольное или целевое - сохраняется неизменным, а другое - исходное - преобразуется таким образом, чтобы обеспечивалось его наилучшее соответствие контрольному. Алгоритм итеративно вносит в преобразование (комбинацию параллельного переноса и поворота) изменения, необходимые для сведения к минимуму метрики ошибки, которой, как правило, служит расстояние от исходного облака точек до контрольного, например, сумма квадратов разностей между координатами сопоставляемых пар. Итеративный алгоритм ближайших точек является одним из алгоритмов сопоставления трехмерных моделей, которые широко используются для «начального предположения» при строгом преобразовании.
[0155] Множество компьютерных процедур 500 включает в себя другие алгоритмы 506 локализации. В некоторых вариантах осуществления источник данных локализации может определять вероятное местоположение транспортного средства на основе одометрии, которая представляет собой процесс оценки относительного перемещения транспортного средства с использованием данных, последовательно получаемых датчиками транспортного средства. Одометрия может использоваться в алгоритме локализации для инициализации положения транспортного средства с целью выполнения алгоритмом локализации поиска локальных объектов. Кроме того, одометрия может использоваться в алгоритме локализации для оценки скорости и ускорения автомобиля путем экстраполяции положения транспортного средства в периоды между моментами снятия показаний датчиков, которые могут использоваться при локализации.
[0156] В дополнительных вариантах осуществления источники данных локализации для определения местоположения транспортного средства могут включать в себя визуальную одометрию. В различных вариантах визуальной одометрии местоположение транспортного средства определяется путем сравнения различных признаков, выделенных на изображениях с камеры, с признаками на карте, в частности, с рельефом поверхности, характерными признаками изображений, контурами и т.д.
[0157] В других вариантах осуществления в качестве источников данных локализации могут использоваться один или несколько методов лидарной локализации. Предполагается, что источником данных локализации может служить локализация на основе признаков, в которой производится выделение признаков с использованием данных с датчиков, таких как изображения с камеры, а лидар сканирует эти признаки и сравнивает их с признаками на одном или нескольких представлениях карты региона, чтобы определять местоположение транспортного средства.
[0158] В по меньшей мере некоторых вариантах осуществления настоящей технологии источником данных локализации для определения местоположения транспортного средства могут быть методы лидарной одометрии. В различных вариантах лидарной одометрии применяется итеративный алгоритм ближайших точек с попарным сравнением или итеративный алгоритм ближайших точек с многократным сканированием. Различные варианты всех указанных выше методов реализуются путем замены тех или иных параметров, таких как предельные количества итераций, радиус поиска, весовые коэффициенты и т.д.
[0159] Источники данных локализации, описанные выше неисчерпывающим образом, могут дополнительно включать в себя другие источники данных локализации, в которых используются локализация на основе глобальной навигационной спутниковой системы (GNSS, Global Navigation Satellite System) и одометрия на основе инерциального измерительного блока. В различных вариантах этих методов применяются разнообразные методы интегрирования и методы коррекции.
[0160] Множество компьютерных процедур 500 включает в себя алгоритм 650 моделирования. Как более подробно описано ниже, алгоритм 650 моделирования способен формировать имитационные облака точек, используя облака точек, извлеченные из данных 406 журнала. Алгоритм 650 моделирования предназначен для формирования ухудшенного варианта исходного облака точек. Ухудшение, вызываемое алгоритмом 650 моделирования, призвано отражать влияние различных условий, в которых может действовать транспортное средство. В одном из примеров ухудшение может отражать влияние дорожной обстановки, например, нахождения рядом крупногабаритных транспортных средств, создающих помехи для лидарного датчика. В другом примере ухудшение может отражать влияние условий окружающей среды, таких как дождь, грязь и/или снег, препятствующих работе лидарной системы.
[0161] Множество компьютерных процедур 500 включает в себя вычисление первой метрики 508 и второй метрики 950. В общем случае сервер 235 и/или электронное устройство 210 могут использовать первую метрику 508 и/или вторую метрику 950, чтобы определять, является ли часть представления карты неактуальной. Дополнительно или в качестве альтернативы, сервер 235 и/или электронное устройство 210 могут использовать первую метрику 508 и/или вторую метрику 950, чтобы определять, являются ли результаты работы алгоритма 750 локализации в той или иной мере «достоверными» в этой части представления 402 карты. Как более подробно описано ниже, сервер 235 может обучать алгоритм машинного обучения на основе результатов, полученных с помощью первой метрики 508, и использовать такой обученный алгоритм машинного обучения в качестве второй метрики 950.
[0162] В общем случае этот алгоритм машинного обучения первоначально создается (или обучается) с использованием обучающих данных и целей обучения. На итерации обучения в алгоритм машинного обучения вводятся исходные данные для обучения и алгоритм формирует соответствующий прогноз. Затем сервер 106 может в некотором смысле «настраивать» алгоритм машинного обучения в результате сравнения прогноза с целью обучения применительно к исходным данным для обучения. Например, такая настройка может производиться сервером 106 с использованием одного или нескольких методов машинного обучения, таких как, среди прочего, метод обратного распространения. Соответственно, после большого количества итераций обучения алгоритм машинного обучения «настраивается» таким образом, чтобы его прогнозы, формируемые на основе введенных данных, были близки к целям обучения. В некоторых вариантах осуществления обученный алгоритм машинного обучения может служить метрикой, используемой для определения подлежащей обновлению части представления 402 карты. В некоторых вариантах осуществления обученный алгоритм машинного обучения может служить метрикой, используемой для того, чтобы определять, являются ли текущие результаты работы алгоритма 750 локализации достаточно достоверными для использования во время работы транспортного средства 220.
[0163] Ниже приводится более подробное описание того, как сервер 235 способен использовать первую метрику 508 для определения подлежащей обновлению части представления 402 карты.
Предыдущие траектории и ухудшение данных
[0164] Сервер 235 способен использовать данные 604 журнала транспортного средства 602 (беспилотного автомобиля в парке) для формирования в процессе моделирования траектории 606 беспилотного автомобиля 602 на представлении 402 карты. Следует отметить, что транспортное средство 602 действовало в географическом регионе, который охватывается представлением 402 карты. Таким образом, сервер 235 способен определять предыдущую траекторию транспортного средства 602 и использовать ее в качестве траектории 606. Соответственно, траектория 606 может называться предыдущей траекторией 606. Сервер 235 способен извлекать из данных 604 журнала множество облаков 610 точек, которые представляют собой облака точек, полученные лидарной системой транспортного средства 602 на предыдущей траектории 606.
[0165] Следует отметить, что облака точек из множества облаков 610 точек связаны с дополнительными данными 604 журнала. Например, облако 612 точек связано с дополнительными данными 622, облако 614 точек - с дополнительными данными 624, а облако 616 точек - с дополнительными данными 626. Дополнительные данные могут включать в себя метки времени, представляющие моменты времени, в которые было получено соответствующее облако точек, данные системы GPS, приблизительно характеризующие местоположение транспортного средства 602 на момент получения соответствующего облака точек, кинематические данные или данные одометрии (скалярную и векторную скорость, ускорение и т.д.) транспортного средства 602 на момент получения соответствующего облака точек и т.п.
[0166] Сервер 235 способен выбирать одно или несколько (например, последовательность) облаков точек из множества облаков 610 точек и формировать на их основе одно или несколько имитационных облаков точек. Например, сервер 235 способен формировать имитационное облако 654 точек на основе заданного облака точек, связанного с предыдущей траекторией 606. Для этого сервер 235 способен выполнять процедуру 650 моделирования применительно к облаку 614 точек для формирования имитационного облака 654 точек.
[0167] Следует отметить, что имитационное облако 654 точек может представлять собой ухудшенный вариант облака 614 точек. В некоторых вариантах осуществления процедура 650 ухудшения может обеспечивать удаление из облака 614 точек по меньшей мере набора точек. Удаление набора точек может имитировать дорожную обстановку, в которой крупный объект скрывает часть окружающего пространства от лидарной системы.
[0168] В других вариантах осуществления процедура 650 моделирования может использоваться не для моделирования влияния дорожной обстановки на облако 614 точек, а для моделирования влияния одного или нескольких условий окружающей среды, таких как дождь, снег и/или грязь, препятствующих работе лидарной системы. Для этого в некоторых вариантах осуществления сервер 235 при выполнении процедуры 650 моделирования способен применять к облаку 614 точек фильтр, который вносит шум в облако 614 точек. Например, функция шума может определяться на основе данных журнала, представляющих облака точек, полученные в конкретной дорожной обстановке и/или в конкретных условиях окружающей среды.
Алгоритм локализации
[0169] На фиг. 7 представлены два примера реализации сервером 235 алгоритма 750 локализации. В первом примере сервер 235 способен передавать в алгоритм 750 локализации облако 614 точек и начальное приближение 710 местоположения транспортного средства 220 для метки времени, связанной с облаком 614 точек. Следует отметить, что алгоритм 750 локализации также имеет доступ к представлению 402 карты. Благодаря этому алгоритм 750 локализации способен формировать вероятное местоположение 780. Следует также отметить, что вероятное местоположение 780 связано с меткой времени облака 614 точек и рассматриваемой частью представления 402 карты, представляющей текущее окружающее пространство транспортного средства 220 на момент получения облака 614 точек. Предполагается, что вероятное местоположение, сформированное алгоритмом 750 локализации, может включать в себя вероятное положение транспортного средства 220 и вероятную ориентацию транспортного средства 220.
[0170] В некоторых вариантах осуществления алгоритм 750 локализации может инициировать определение вероятного местоположения 780 за счет предварительного выбора положения облака 614 точек относительно представления 402 карты на основе начального приближения 710, а также может итеративно перемещать облако 614 точек и, соответственно, итеративно корректировать местоположение, выдаваемое алгоритмом 750 локализации.
[0171] Во втором примере сервер 235 способен передавать в алгоритм 750 локализации имитационное облако 654 точек и начальное приближение 710. Благодаря этому алгоритм 750 локализации способен формировать вероятное местоположение 790. Следует отметить, что вероятное местоположение 790 связано с меткой времени облака 614 точек и рассматриваемой частью представления 402 карты, представляющей текущее окружающее пространство транспортного средства 220 на момент получения облака 614 точек.
[0172] В некоторых вариантах осуществления сервер 235 способен использовать наряду с имитационным облаком точек или вместо него другое облако точек из данных журнала другого беспилотного автомобиля в парке. Например, сервер 235 способен извлекать одно или несколько облаков точек, связанных с местоположением, в котором лидарной системой было получено облако 614 точек. Таким образом, сервер 235 может использовать другое облако точек, полученное другой лидарной системой на другом беспилотном автомобиле в парке.
[0173] В некоторых вариантах осуществления настоящей технологии сервер 235 способен формировать множество вероятных местоположений, связанных с меткой времени облака 614 точек на предыдущей траектории 606. Одно из таких вероятных местоположений может частично формироваться на основе облака 614 точек, другое может быть частично основано на имитационном облаке 654 точек, еще одно может быть частично основано на другом имитационном облаке точек (отражающем влияние каких-либо условий, не проявившихся в имитационном облаке 654 точек), и еще одно может быть частично основано на облаке точек, полученном другой лидарной системой на другом транспортном средстве в то время, когда оно находилось в данном местоположении.
[0174] В дополнительных вариантах осуществления множество вероятных местоположений может формироваться аналогичным образом для ряда меток времени на предыдущей траектории 606. Например, первое множество вероятных местоположений может формироваться для первой метки времени, второе множество вероятных местоположений - для второй метки времени, третье множество вероятных местоположений - для третьей метки времени и т.д.
[0175] Сервер 235 способен применять первую метрику 508 ко множеству вероятных местоположений, связанных с меткой времени и местоположением на представлении 402 карты. В контексте настоящей технологии первая метрика 508 может определять параметр сходимости на основе множества вероятных местоположений и соотносить его с местоположением на представлении карты.
[0176] Как подробно описано ниже, в зависимости от параметра сходимости, сервер 235 может принимать решение о том, что рассматриваемая часть представления 402 карты, содержащая местоположение, нуждается в обновлении. Также предполагается, что сервер 235 может определять параметры сходимости для последовательности меток времени (например, последовательности местоположений в рассматриваемой части представления карты). Параметры сходимости для последовательности меток времени на предыдущей траектории 606 в совокупности могут использоваться для определения необходимости обновления рассматриваемой части представления 402 карты, содержащей последовательность местоположений.
Метрика сходимости
[0177] На фиг. 8 представлены два примера использования первой метрики 508 с целью определения параметра сходимости для множества вероятных местоположений.
[0178] В первом примере предполагается, что множество вероятных местоположений содержит четыре вероятных местоположения, первое из которых включает в себя первое вероятное положение 801 и первую вероятную ориентацию 841, второе - второе вероятное положение 802 и вторую вероятную ориентацию 842, третье - третье вероятное положение 803 и третью вероятную ориентацию 843 и четвертое - четвертое вероятное положение 804 и четвертую вероятную ориентацию 844.
[0179] Сервер 235 может применять первую метрику 508 для определения размера наименьшей окружности, охватывающей вероятные положения 801, 802, 803 и 804. Кроме того, сервер 235 может сравнивать радиус такой наименьшей окружности с заданным радиусом 810. При этом можно утверждать, что сервер 235, применяя первую метрику 508, способен определять, охватываются ли вероятные положения 801, 802, 803 и 804 окружностью 815 заданного радиуса 810.
[0180] Также можно утверждать, что окружность 815 представляет собой окружность заданного радиуса с центром в заданном местоположении. В некоторых вариантах осуществления заданным местоположением может быть истинное местоположение транспортного средства на предыдущей траектории, связанное с указанной меткой времени. В других вариантах осуществления заданное положение может отличаться от истинного положения. Можно утверждать, что цель применения первой метрики 508 состоит в том, чтобы определять, «сходятся» ли вероятные положения, сформированные алгоритмом 750 локализации, внутри окружности заданного радиуса 810. Также можно утверждать, что способность алгоритма 750 локализации формировать вероятные положения, близкие к истинному положению, имеет меньшее значение, чем способность алгоритма локализации формировать непротиворечивые вероятные положения при использовании имитационных или ухудшенных облаков точек.
[0181] Сервер 235 может применять первую метрику 508 для определения размера наименьшего углового сектора, охватывающего вероятные ориентации 841, 842, 843 и 844. Кроме того, сервер 235 может сравнивать угол такого наименьшего сектора с заданным углом 850. При этом можно утверждать, что сервер 235, применяя первую метрику 508, способен определять, охватываются ли вероятные ориентации 841, 842, 843 и 844 сектором 855 с заданным углом 850.
[0182] Можно утверждать, что цель применения первой метрики 508 состоит в том, чтобы определять, «сходятся» ли вероятные ориентации, сформированные алгоритмом 750 локализации, в пределах заданного угла 850. Также можно утверждать, что способность алгоритма 750 локализации формировать вероятные ориентации, близкие к истинной ориентации, имеет меньшее значение, чем способность алгоритма 750 локализации формировать непротиворечивые вероятные ориентации при использовании имитационных или ухудшенных облаков точек.
[0183] В контексте данного первого примера можно утверждать, что параметр сходимости, заданный первой метрикой 508, указывает на способность алгоритма 750 локализации формировать сходящиеся варианты местоположения в рассматриваемой части представления карты.
[0184] Во втором примере предполагается, что множество вероятных местоположений содержит четыре вероятных местоположения, первое из которых включает в себя пятое вероятное положение 821 и пятую вероятную ориентацию 861, второе - шестое вероятное положение 832 и шестую вероятную ориентацию 862, третье - седьмое вероятное положение 833 и седьмую вероятную ориентацию 863 и четвертое - восьмое вероятное положение 834 и восьмую вероятную ориентацию 864.
[0185] Сервер 235 может применять первую метрику 508 для определения размера наименьшей окружности, охватывающей вероятные положения 831, 832, 833 и 834. Кроме того, сервер 235 может сравнивать радиус такой наименьшей окружности с заданным радиусом 810. При этом можно утверждать, что сервер 235, применяя первую метрику 508, способен определять, охватываются ли вероятные положения 831, 832, 833 и 834 окружностью 815 заданного радиуса 810.
[0186] Можно утверждать, что цель применения первой метрики 508 состоит в том, чтобы определять, «сходятся» ли вероятные положения, сформированные алгоритмом 750 локализации, внутри окружности с заданным радиусом 810. В контексте второго примера можно утверждать, что вероятные положения 831, 832, 833 и 834 не сходятся внутри окружности с заданным радиусом 810, но сходятся внутри окружности с заданным радиусом 820, то есть охватываются окружностью 825 (большего размера).
[0187] Сервер 235 может применять первую метрику 508 для определения размера наименьшего сектора, охватывающего вероятные ориентации 861, 862, 863 и 864. Кроме того, сервер 235 может сравнивать угол такого наименьшего сектора с заданным углом 850. При этом можно утверждать, что сервер 235, применяя первую метрику 508, способен определять, охватываются ли вероятные ориентации 861, 862, 863 и 864 сектором 855 с заданным углом 850.
[0188] Также можно утверждать, что цель применения первой метрики 508 состоит в том, чтобы определять, «сходятся» ли вероятные ориентации, сформированные алгоритмом 750 локализации, внутри заданного угла 850. В контексте второго примера можно утверждать, что вероятные ориентации 861, 862, 863 и 864 не сходятся внутри заданного угла 850.
[0189] В контексте второго примера также можно утверждать, что параметр сходимости, заданный первой метрикой 508, служит признаком того, что алгоритм 750 локализации формирует в рассматриваемой части представления карты варианты местоположения, которые расходятся и/или не сходятся в пределах одного или нескольких заданных значений (одного или нескольких радиусов и/или одного или нескольких углов).
[0190] В некоторых вариантах осуществления настоящей технологии сервер 235 на основе параметра, заданного первой метрикой 508, может определять, нуждается ли в обновлении рассматриваемая часть представления 402 карты. Иными словами, можно утверждать, что если вероятные местоположения, сформированные для метки времени в рассматриваемой части представления 402 карты, не сходятся в пределах заданного значения, влияние устаревшей части представления 402 карты сказывается на результатах работы алгоритма 750 локализации. Таким образом, результат применения первой метрики 508 может служить признаком необходимости обновления соответствующей части представления 402 карты.
[0191] Сервер 235 способен выполнять обновление рассматриваемой части представления карты. Как указано выше, сервер 235 способен получать данные наиболее актуальных облаков точек, связанные с рассматриваемой частью представления 402 карты, и использовать один или несколько методов сопоставления карт, например, на основе итеративных алгоритмов ближайших точек, для установления связи между максимально близкими точками в этих наиболее актуальных облаках точек с целью их объединения и замены рассматриваемой части представления 402 карты. В дополнительных вариантах осуществления, если оказывается, что наиболее актуальные облака точек были сформированы раньше заданного момента времени, алгоритм 502 обновления карты может отложить обновление до получения более актуальных облаков точек в рассматриваемой части представления 402 карты.
Вторая метрика
[0192] Как указано выше, сервер 235 способен определять в процессе обучения вторую метрику 950 на основе результатов применения первой метрики 508. На фиг. 9 представлены итерация 991 обучения машинного алгоритма обучения и итерация 992 использования машинного алгоритма обучения. После обучения алгоритма машинного обучения этот алгоритм может использоваться в качестве второй метрики 950. Согласно приведенному ниже описанию итерация 992 использования алгоритма машинного обучения может выполняться «в автономном режиме» на сервере 235 для определения подлежащих обновлению частей представления 402 карты и, в том же или в других вариантах осуществления, «в режиме реального времени» в электронном устройстве 210 во время действий транспортного средства 220 для принятия решения о том, является ли алгоритм 750 локализации достоверным источником данных локализации в текущей части представления 402 карты.
[0193] В ходе обучения сервер 235 способен формировать обучающий набор, содержащий исходные данные 901 для обучения и обучающую метку 902. Исходные данные 901 для обучения включают в себя представление 402 карты (или по меньшей мере ее часть, представляющую интерес), вероятное местоположение 780 и облако 614 точек. Сервер 235 способен формировать обучающую метку 902 на основе параметра, заданного первой метрикой 506.
[0194] Например, обучающая метка 902 может иметь значение 0, указывающее на то, что вероятные местоположения для метки времени не сходятся в пределах заданного радиуса 810, или значение 1, указывающее на то, что вероятные местоположения для метки времени сходятся в пределах заданного радиуса 810. Можно утверждать, что в некоторых вариантах осуществления обучающая метка 902 служит признаком, характеризующим исходные данные для обучения применительно к алгоритму 950 машинного обучения либо как положительный пример, либо как отрицательный пример. При этом следует отметить, что обучающая метка 902 не обязательно должна иметь двоичный формат. Обучающая метка 902 может указывать на истинный класс среди нескольких классов. Например, различные классы могут быть связаны с заданными радиусами сходимости. В представленном примере сервер 235 может присвоить истинный класс из множества классов исходным данным 901 для обучения, которые соответствуют радиусам сходимости вероятных местоположений в данном примере обучения. В дополнительных вариантах осуществления, без отступления от существа и объема настоящей технологии, обучающая метка 902 может принимать форму значения из непрерывного спектра значений (например, регрессии). Предполагается, что результат применения первой метрики 508 может использоваться для формирования обучающей метки с целью определения в процессе обучения второй метрики 950.
[0195] Сервер 235 использует обучающий набор для обучения алгоритма 950 машинного обучения, чтобы получить прогнозный параметр 920, указывающий на то, формирует ли алгоритм 750 локализации расходящиеся вероятные местоположения для беспилотного автомобиля 602 в рассматриваемой части представления 402 карты.
[0196] Например, прогнозный параметр 920 служит признаком того, что вероятные местоположения расходятся, если алгоритм локализации формирует вероятные местоположения, которые не сходятся в пределах заданного порогового значения.
[0197] В дополнительных вариантах осуществления исходные данные для обучения в данном обучающем наборе могут включать в себя имитационное облако точек вместо облака 614 точек и соответствующее вероятное местоположение, сформированное на основе имитационного облака точек, вместо вероятного местоположения 780.
[0198] Предполагается, что первая метрика 508 и/или вторая метрика 950 могут использоваться на сервере 235 в «автономном режиме» для нахождения и обновления частей представления 402 карты, подлежащих обновлению. Предполагается, что первая метрика 508 и/или вторая метрика 950 могут использоваться на сервере 235 в «режиме реального времени», для определения того, допускается ли применять результаты работы алгоритма 750 локализации для управления действиями транспортного средства 220 в той части представления карты, где транспортное средство 220 находится в настоящий момент.
[0199] В некоторых вариантах осуществления сервер 235 может использовать первую метрику 506 подобно тому, как это описано выше со ссылкой на фиг. 8, с целью определения параметра для вероятных местоположений, сформированных для рассматриваемой части представления 402 карты. Дополнительно или в качестве альтернативы, вторая метрика 950 (после обучения) также может использоваться с целью определения второго параметра для вероятного местоположения, сформированного для рассматриваемой части представления 402 карты. Сервер 235 может использовать комбинацию параметров, заданных первой метрикой 506 и второй метрикой 950, для определения того, нуждается ли в обновлении рассматриваемая часть представления 402 карты.
[0200] В некоторых вариантах осуществления электронное устройство 210 может использовать первую метрику 506 подобно тому, как это описано выше со ссылкой на фиг. 8, с целью определения параметра для вероятных местоположений, сформированных для текущей части представления 402 карты, во время действий транспортного средства 220. Дополнительно или в качестве альтернативы, вторая метрика 950 (после обучения) может использоваться с целью определения второго параметра для вероятного местоположения, сформированного для текущей части представления 402 карты. Электронное устройство 210 может использовать комбинацию параметров, заданных первой метрикой 506 и второй метрикой 950, для определения того, допускается ли применять текущее вероятное местоположение, сформированное алгоритмом 750 локализации, для управления действиями транспортного средства 220 в текущей части представления 402 карты.
[0201] На фиг. 10 представлена блок-схема способа 1000 обновления части представления 402 карты, реализуемого на сервере 235. Ниже приводится более подробное описание шагов способа 1000.
Шаг 1002: определение сервером предыдущей траектории беспилотного автомобиля в географическом регионе.
[0202] Реализация способа 1000 начинается с шага 1002, на котором сервер 235 может определять предыдущую траекторию 606 транспортного средства 220 в географическом регионе. Предыдущая траектория 606 связана со множеством облаков 610 точек из данных журнала транспортного средства 220. Множество облаков точек было получено лидарной системой во время движения транспортного средства 220 по предыдущей траектории 606 в географическом регионе.
[0203] Предполагается, что сервер 235 способен выполнять метод 1000 для множества предыдущих траекторий в географическом регионе. Это позволяет представлять различные маршруты, пройденные транспортными средствами в географическом регионе, для их проверки или обновления.
Шаг 1004: для метки времени на предыдущей траектории определение сервером первого облака точек из множества облаков точек, которые были получены лидарной системой в момент, соответствующий этой метке времени.
[0204] Следующим шагом в способе 1000 является шаг 1004, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда транспортное средство 220 находилось в заданном месте географического региона, определять облако 614 точек из множества облаков 610 точек, которые были получены лидарной системой в момент, соответствующий этой метке времени.
Шаг 1006: для метки времени на предыдущей траектории формирование сервером с помощью алгоритма локализации первого вероятного местоположения на основе первого облака точек и представления карты.
[0205] Следующим шагом в способе 1000 является шаг 1006, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда транспортное средство 220 находилось в заданном месте географического региона, формировать с помощью алгоритма 750 локализации первое вероятное местоположение 780 на основе облака 614 точек и представления 402 карты. Заданное место находится в рассматриваемой части представления 402 карты.
Шаг 1008: для метки времени на предыдущей траектории определение сервером второго облака точек, связанного с заданным местом.
[0206] Следующим шагом в способе 1000 является шаг 1008, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда транспортное средство 220 находилось в заданном месте географического региона, определять второе облако точек, связанное с заданным местом.
[0207] В некоторых вариантах осуществления второе облако точек может представлять собой имитационное облако 654 точек, являющееся ухудшенным вариантом первого облака точек. Например, ухудшенный вариант облака 614 точек представляет собой облако 614 точек без некоторого подмножества точек. В некоторых вариантах осуществления сервер 235 может применять фильтр, отражающий воздействие условий окружающей среды на облако 614 точек. Например, условия окружающей среды могут представлять собой дождь, снег и/или грязь, препятствующие работе лидарной системы. В дополнительных вариантах осуществления, без отступления от существа и объема настоящей технологии, сервер 235 может определять второе облако точек из данных журнала второго транспортного средства, которое действовало в этом географическом регионе.
Шаг 1010: для метки времени на предыдущей траектории формирование сервером с помощью алгоритма локализации второго вероятного местоположения на основе второго облака точек и представления карты.
[0208] Следующим шагом в способе 1000 является шаг 1010, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда это самоуправляемое транспортное средство находилось в заданном месте географического региона, формировать с помощью алгоритма 750 локализации второе вероятное местоположение 790 на основе второго облака точек и представления 402 карты.
Шаг 1012: для метки времени на предыдущей траектории определение сервером с помощью метрики сходимости параметра для оценки качества локализации, обеспечиваемого алгоритмом локализации в рассматриваемой части представления карты.
[0209] Следующим шагом в способе 1000 является шаг 1012, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда это самоуправляемое транспортное средство находилось в заданном месте географического региона, определять с помощью первой метрики 506 параметр для оценки качества локализации, обеспечиваемого алгоритмом 750 локализации в рассматриваемой части представления 402 карты. Этот параметр характеризует сходимость первого вероятного местоположения 780 и второго вероятного местоположения 790.
Шаг 1014: для метки времени на предыдущей траектории признание сервером рассматриваемой части представления карты устаревшей частью представления карты на основе параметра.
[0210] Следующим шагом в способе 1000 является шаг 1014, на котором сервер 235 может для метки времени на предыдущей траектории транспортного средства 220, соответствующей моменту, когда это самоуправляемое транспортное средство находилось в заданном месте географического региона, признавать рассматриваемую часть представления 402 карты устаревшей частью представления 402 карты на основе параметра. Например, сервер 235 может признавать рассматриваемую часть карты устаревшей, если параметр указывает на то, что первое и второе вероятные местоположения не сходятся в пределах заданного значения.
Шаг 1016: обновление сервером устаревшей части представления карты с использованием первого облака точек или второго облака точек.
[0211] Следующим шагом в способе 1000 является шаг 1016, на котором сервер 235 может обновлять устаревшую часть представления 402 карты с использованием первого облака точек или второго облака точек. В некоторых вариантах осуществления сервер 235 может использовать итеративный алгоритм ближайших точек для замены устаревшей части карты данными облака точек из первого облака точек и/или из второго облака точек.
[0212] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| Способ и система для определения траектории автономного транспортного средства | 2023 |
|
RU2821107C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ СТЕПЕНИ УХУДШЕНИЯ ЛИДАРНЫХ ДАННЫХ | 2021 |
|
RU2826476C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ ТРАЕКТОРИИ ДВИЖЕНИЯ ТРАНСПОРТНОГО СРЕДСТВА | 2024 |
|
RU2839125C1 |
| Способ и процессор для классификации точек на границе многоугольного участка | 2023 |
|
RU2836700C1 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ АВТОМАТИЗИРОВАННОГО ОПРЕДЕЛЕНИЯ ПРИСУТСТВИЯ ОБЪЕКТОВ | 2019 |
|
RU2769921C2 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ ОБРАБОТКИ ДАННЫХ ЛИДАРНЫХ ДАТЧИКОВ | 2020 |
|
RU2764708C1 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ ОБРАБОТКИ ДАННЫХ ЛИДАРНЫХ ДАТЧИКОВ | 2020 |
|
RU2775822C1 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ АВТОМАТИЗИРОВАННОГО ОПРЕДЕЛЕНИЯ ПРИСУТСТВИЯ ОБЪЕКТОВ | 2019 |
|
RU2744012C1 |
| СПОСОБЫ И ЭЛЕКТРОННЫЕ УСТРОЙСТВА ДЛЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ В ОКРУЖЕНИИ БЕСПИЛОТНОГО АВТОМОБИЛЯ | 2021 |
|
RU2767831C1 |
| Лидарные системы и способы | 2020 |
|
RU2798363C2 |
Изобретение относится к способу управления действиями беспилотного автомобиля. Технический результат заключается в повышении надежности управления беспилотного автомобиля за счет более точного определения текущего местоположения беспилотного автомобиля. В способе автомобиль связан с лидарной системой и с электронным устройством, содержащим процессор, способный собирать данные из множества источников данных локализации для определения местоположения беспилотного автомобиля на представлении карты географического региона, при этом способ реализуется процессором и в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, предусматривает: формирование процессором с помощью алгоритма локализации вероятного местоположения беспилотного автомобиля на основе облака точек, полученного лидарной системой, представления карты и начального приближения текущего местоположения беспилотного автомобиля на представлении карты; формирование процессором с помощью алгоритма машинного обучения параметра, указывающего на способность алгоритма локализации формировать сходящиеся вероятные местоположения беспилотного автомобиля в рассматриваемой части представления карты, включающей в себя текущее местоположение, при разнообразных условиях; определение процессором того, является ли вероятное местоположение беспилотного автомобиля, сформированное алгоритмом локализации, надежным источником данных локализации в рассматриваемой части карты на основе параметра; определение сервером местоположения беспилотного автомобиля на основе данных из множества источников с использованием данных, собранных от сокращенного множества источников данных локализации, которое представляет собой множество источников данных локализации за исключением алгоритма локализации; и управление процессором действиями беспилотного автомобиля, при котором в качестве текущего местоположения беспилотного автомобиля используется местоположение, определенное на основе данных из множества источников. 10 ил.
Способ управления действиями беспилотного автомобиля, связанного с лидарной системой и с электронным устройством, содержащим процессор, способный собирать данные из множества источников данных локализации для определения местоположения беспилотного автомобиля на представлении карты географического региона, при этом способ реализуется процессором и в моменты действий беспилотного автомобиля, соответствующие меткам времени, когда беспилотный автомобиль находится в текущем месте географического региона, предусматривает:
- формирование процессором с помощью алгоритма локализации вероятного местоположения беспилотного автомобиля на основе облака точек, полученного лидарной системой, представления карты и начального приближения текущего местоположения беспилотного автомобиля на представлении карты;
- формирование процессором с помощью алгоритма машинного обучения параметра, указывающего на способность алгоритма локализации формировать сходящиеся вероятные местоположения беспилотного автомобиля в рассматриваемой части представления карты, включающей в себя текущее местоположение, при разнообразных условиях;
- определение процессором того, является ли вероятное местоположение беспилотного автомобиля, сформированное алгоритмом локализации, надежным источником данных локализации в рассматриваемой части карты на основе параметра;
- определение сервером местоположения беспилотного автомобиля на основе данных из множества источников с использованием данных, собранных от сокращенного множества источников данных локализации, которое представляет собой множество источников данных локализации за исключением алгоритма локализации; и
- управление процессором действиями беспилотного автомобиля, при котором в качестве текущего местоположения беспилотного автомобиля используется местоположение, определенное на основе данных из множества источников.
| СПОСОБЫ И СИСТЕМЫ ДЛЯ АВТОМАТИЗИРОВАННОГО ОПРЕДЕЛЕНИЯ ПРИСУТСТВИЯ ОБЪЕКТОВ | 2019 |
|
RU2744012C1 |
| Способ управления движением беспилотных автономных транспортных средств (БАТС) и колонн БАТС интеллектуальной транспортной инфраструктурой (ИТИ) автомобильной дороги | 2018 |
|
RU2712487C1 |
| СПОСОБЫ И ПРОЦЕССОРЫ ДЛЯ УПРАВЛЕНИЯ РАБОТОЙ БЕСПИЛОТНОГО АВТОМОБИЛЯ | 2019 |
|
RU2750118C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ ТРАЕКТОРИИ ДЛЯ БЕСПИЛОТНОГО АВТОМОБИЛЯ (SDC) | 2019 |
|
RU2750243C2 |
| US 20190113927 A1, 18.04.2019 | |||
| US 20210116914 A1, 22.04.2021 | |||
| US 20190146509 A1, 16.05.2019 | |||
| US 20200377078 A1, 03.12.2020 | |||
| US 10254121 B2, 09.04.2019. | |||
